ELK 大规模日志实时处理系统应用简介

ELK 是软件集合 Elasticsearch、Logstash、Kibana 的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。

其中，Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询。

Logstash 是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。

Kibana 是一个可视化工具，主要负责查询 Elasticsearch 的数据并以可视化的方式展现给业务方，比如各类饼图、直方图、区域图等。

所谓“大规模”指的是 ELK 组成的系统以一种水平扩展的方式每天支持收集、过滤、索引和存储 TB 规模以上的各类日志（注：1TB = 1024GB ）。

通常，各类文本形式的日志都在处理范围，包括但不限于 Web 访问日志，如 Nginx/Apache Access Log；应用运行时日志，如 Swift/PHP/Python/Ruby/Java/C# 等构建的应用程序在执行业务过程中记录下来的日志。 

How it work ?

图 1. ELK 系统应用架构

上图是 ELK 实际应用中典型的一种架构，其中 Filebeat 部署在具体的业务机器上，通过定时监控的方式获取增量的日志，并转发 push 到 Redis 的一个 list 对象中暂存。

Redis 以高读写性能以及拥有支持 push/pop 操作的 list 数据结构的特征，作为一个缓冲队列的角色，接收所有从 Filebeat 收集转发过来的日志。

然后，Logstash 从 Redis 中获取日志，并通过 Input-Filter-Output 三个阶段的处理，更改或过滤日志，最终输出我们感兴趣的数据。

最后，Elasticsearch 存储并索引从 Logstash 转发过来的数据，并通过 Kibana 查询和可视化展示，达到实时分析日志的目的。

Getting started

我们一步步安装部署 ELK 系统的各个组件，然后以网站访问日志为例进行数据实时分析。（假定已经有部署好的 Nginx 服务器和 Redis 实例）

首先，到 ELK 官网下载需要用到的 Filebeat/Logstash/Elasticsearch/Kibana 软件安装包。（推荐下载编译好的二进制可执行文件，直接解压执行就可以部署）

1、下载并配置 Filebeat，开启日志增量监控

解压后的 Filebeat 包含以下三个文件：

解压后的 Filebeat

修改其中 filebeat.yml 的内容为：

filebeat.yml 配置文件示例

上述配置表示，Filebeat 每 10s 监控一次

/path/to/nginx/access/*.log

目录下所有以 .log 结尾的文件，并且将增量日志转发到 Redis 服务器。

然后，后台启动 Filebeat 进程：

nohup ./filebeat -c ./filebeat.yml & 

这时候，在浏览器上访问 Nginx 服务器并生成访问日志后，Filebeat 会及时的将日志转发到 Redis 服务器。转发的时候，Filebeat 会传输 JOSN 对象，而且原生的 Nginx 日志文本会作为 message 字段。

传输的 JOSN 对象

2、下载并配置 Logstash ，开启日志过滤

解压后的 Logstash 包含以下目录和文件：

Logstash 解压目录和文件

创建并编辑 filebeat-logstash-elastic.conf 文件，内容为：

Logstash 配置文件

配置文件主要分为三大部分： Input / Filter / Output，对应收集、过滤、转发三个阶段。显然，Input 阶段只需要指定 Redis 服务器相关信息即可，Output 阶段只需要指定 Elasticsearch 服务器相关的信息即可，比较复杂的是 Filter 过滤阶段。

可以看到，上述配置中，grok 插件使用正则表达式将 Nginx 日志的各个字段匹配出来，包括访问用户 ip 地址、请求时间和地址、服务器响应时间和响应字节以及用户标示 User-Agent 等。

然后，mutate、ruby、useragent、date、kv 等插件配合使用，过滤并获取到感兴趣的字段，最后输出如下示例的 JOSN 对象：

Logstash 转换后输出的 JSON 对象

这就是最终存储在 Elasticsearch 中的文档内容。

接下来，就可以启动 Logstash 进程了：

nohup ./bin/logstash agent -f ./filebeat-logstash-elastic.conf &

3、配置并启动 Elasticsearch 服务

下载并解压后，可以看到 ES 的目录和文件：

ES 目录和文件

修改 conf/elasticsearch.yml 内容如下：

ES 配置文件

指定文档和日志的存储路径以及监听的地址和端口即可。注意，应当保证有足够的磁盘空间来存储文档，否则 ES 将拒绝写入新数据。

环境变量 ES_HEAP_SIZE 被读取为 Elasticsearch 的最大内存空间，一般设置为你机器内存的一半即可： 

export ES_HEAP_SIZE=10g

然后，启动 ES 服务即可：

nohup ./bin/elasticsearch &

4、配置并启动 Kibana 服务

下载解压后的 Kibana 目录和文件：

Kibana 目录和文件

修改 conf/kibana.yml ，内容为：

 elasticsearch.url: "http://localhost:9200"

指定 ES 服务的地址和端口即可，然后启动 Kibana 进程：

nohup ./bin/kibana &

tips：最好手动退出一下终端

exit

否则，关闭终端后，Kibana 进程可能也停止运行了。

然后，就可以在浏览器访问 Kibana 了 http://10.142.86.182:5601/ （换成相应的 IP 地址访问）

Kibana 界面

注意：初次访问 Kibana 的时候，需要配置一个默认的 ES 索引，一般填写 logstash-* 即可。

接下来，就可以使用 Kibana 的可视化功能分析日志了：

Kibana Visualize 功能

Kibana 可视化数据分析

总结

综上，我们配置并部署了 ELK 的整套组件，实现了日志收集、过滤、索引和可视化的全部流程，基于这套系统我们就可以实时的了解业务运行状态。

tips：

ELK 各个组件运行过程中会产生大量的日志，所以需要注意日志处理，要么 > /dev/null 全部忽略，要么存储在大磁盘空间，否则可能写满磁盘导致进程被 killed

文／Ceelog（简书作者）
原文链接：http://www.jianshu.com/p/b2b675942e63
著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。