ELK架构解读

一、ELK是什么鬼？

ELK实际上是三个工具的集合，Elasticsearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。

1. ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

2. Logstash

Logstash是一个用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。

3. Kibana

Kibana是一个优秀的前端日志展示框架，它可以非常详细的将日志转化为各种图表，为用户提供强大的数据可视化支持。

 二、架构图

三、架构解读

第一层：数据采集层

LOGS层:业务应用服务器集群，使用filebeat对应用服务器的日志进行采集。

第二层：数据缓冲层

zookeeper+kafka层:日志采集客户端采集来的数据，转存到kafka+zookeeper集群中,做一个消息队列，让数据有一定的缓冲

第三层：数据转发层

logstash层:这个单独的Logstash节点会实时去kafka broker集群拉数据，转发至ES DataNode。

第四层：数据持久化存储层

ES层：会把收到的数据，写磁盘，建索引库。

第五层：数据检索、展示层

Kibana层： 主要协调ES集群，处理数据检索请求，数据展示。

ELK部署：lilong00404的个人空间