日志采集与检索

日志采集与管理架构

日志主要包括系统日志、应用程序日志和安全日志。

日志接口+日志的实现

Commons Logging + Log4j

jar包

• commons-logging-1.2.jar
• log4j-api-2.x.jar
• log4j-core-2.x.jar
• log4j-jcl-2.x.jar

Slf4j + LogBack

因为对Commons Logging的接口不满意，有人就搞了SLF4J。因为对Log4j的性能不满意，有人就搞了Logback。

Commons Logging	SLF4J
org.apache.commons.logging.Log	org.slf4j.Logger
org.apache.commons.logging.LogFactory	org.slf4j.LoggerFactory

jar包

• slf4j-api-1.7.x.jar
• logback-classic-1.2.x.jar
• logback-core-1.2.x.jar

ELK

通常日志分散储存在不同的设备上。如果你管理数十上百台服务器，得依次登录每台机器的传统方法查阅日志。这样的操作是很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

通过我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。完整的日志数据具有非常重要的作用：
1）信息查找。通过检索日志信息，定位相应的bug，找出解决方案。
2）服务诊断。通过对日志信息进行统计、分析，了解服务器的负荷和服务运行状态，找出耗时请求进行优化等等。
3）数据分析。如果是格式化的log，可以做进一步的数据分析，统计、聚合出有意义的信息，比如根据请求中的商品id，找出TOP10用户感兴趣商品。

开源实时日志分析ELK平台能够完美的解决我们上述的问题。几百台服务器端日志存储 --> 集中化管理日志 --> 日志的统计和检索

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成：

1）ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。在elasticsearch中，所有节点的数据是均等的。

2）Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤、分析，支持大量的数据获取方法，并将其存储供以后使用（如搜索）。说到搜索，logstash带有一个web界面，搜索和展示所有日志。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

3）Kibana 是一个基于浏览器页面的Elasticsearch前端展示工具，也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

https://www.cnblogs.com/kevingrace/p/5919021.html

ELK不仅仅适用于日志分析，它还可以支持其它任何数据分析和收集的场景，日志分析和收集只是更具有代表性。并非唯一性。

收集清洗数据(Logstash) ==> 搜索、存储(ElasticSearch) ==> 展示(Kibana)

ELK主要查看：Nginx日志、应用日志、慢查询日志（mysql、mongo）

Pub-bo-service-new-

ELasticSearch

官网: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D

Logstash

官网: https://mirrors.huaweicloud.com/logstash/?C=N&O=D

中央数据流引擎

Logstash是ELK的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地（文件/MQ/redis/elasticsearch/kafka等）。

Kibana

官网: https://mirrors.huaweicloud.com/kibana/?C=N&O=D

可视化平台

Kibana可以将elasticsearch的数据通过友好的页面展示出来，提供实时分析的功能。

端口：5601

配置文件 kibana.yml中文配置

i18n.locale: “zh-CN”