种一颗树最好的时间是十年前，其次是现在！

Filebeat适用于转发和集中数据的轻量级传送工具，Filebeat监视了指定的日志文件或位置，收集日志事件，并将他们转发到Elasticsearch或Logstash进行索引。**Filebeat的工作方式：**启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找，对于Filebeat所找到的每个日志，Filebeat都会启动收集器。

数据采集层位于最左边的业务服务集群上，在每个业务服务器上面安装了filebead做日志收集，然后把采集到的原始日志发送到kafka+zookeeper集群上。

kafka是由Linkedin公司开发，是一个分布式，支持分区（partition）、多副本的（repilca），基于zookeeper协调的分布式消息系统。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如：基于hadoop（分布式）的批处理系统，低延迟的实时系统，storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源 项目。

第一次启动选举机制主要需要看启动顺序，再看他的myid，只要选举票数超过半数，就会选举出一个leader。新加的机器都会指向这个leader。非第一次启动选举机制假如存在leader，新加入的机器会获取到leader的信息，然后进行连接。假如没有leader，会先比较Epoch（任期数），再比较ZXID（事务ID），再比较SID（服务id）。

提供了一个分布式多用户能力的全文搜索引擎一款强大的数据处理工具可实现数据传输、格式处理、格式化输出数据输入、数据加工（过滤、改写等）以及数据输出由三个组件组成：Input、Output、Filter PluginInput：获取日志Output：输出日志Filter Plugin：过滤日志、格式处理一个针对Elastcsearch的开源分析及可视化平台搜索、查看存储在ES 索引中的数据通过各种图标进行高级数据分析及展示。