filebeat+ELK+kafka 架构体系 运行原理

Elasticsearch介绍
Elasticsearch是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析，采用Java语言编写。目前，最新的版本是，它的主要特点如下：

1. 实时搜索，实时分析
2. 分布式架构、实时文件存储，并将每一个字段都编入索引
3. 文档导向，所有的对象全部是文档
4. 高可用性，易扩展，支持集群（Cluster）、分片和复制（Shards和Replicas）
5. 接口友好，支持JSON

Elasticsearch支持集群架构

从图中可以看出，Elasticsearch集群中有Master Node和Slave Node两种角色，其实还有一种角色Client Node

Logstash介绍
Logstash是一款轻量级的、开源的日志收集处理框架，它可以方便的把分散的、多样化的日志搜集起来，并进行自定义过滤分析处理，然后传输到指定的位置，比如某个服务器或者文件。Logstash采用JRuby语言编写，目前最新的版本是Logstash ，它的主要特点如下：
Logstash的理念很简单，从功能上来讲，它只做三件事情：

1. input：数据收集
2. filter：数据加工，如过滤，改写等
3. output：数据输出

别看它只做三件事，但通过组合输入和输出，可以变幻出多种架构实现多种需求。Logstash内部运行逻辑如下图所示：

1. Shipper：主要用来收集日志数据，负责监控本地日志文件的变化，及时把日志文件的最新内容收集起来，然后经过加工、过滤，输出到Broker。
2. Broker：相当于日志Hub，用来连接多个Shipper和多个Indexer。
3. Indexer：从Broker读取文本，经过加工、过滤，输出到指定的介质（可以是文件、网络、elasticsearch等）中。
   Redis服务器是logstash官方推荐的broker，这个broker起数据缓存的作用，通过这个缓存器可以提高Logstash shipper发送日志到Logstash indexer的速度，同时避免由于突然断电等导致的数据丢失。可以实现broker功能的还有很多软件，例如kafka等。
   这里需要说明的是，在实际应用中，LogStash自身并没有什么角色，只是根据不同的功能、不同的配置给出不同的称呼而已，无论是Shipper还是Indexer，始终只做前面提到的三件事。
   这里需要重点掌握的是logstash中Shipper和Indexer的作用，因为这两个部分是logstash功能的核心

kibana介绍
Kibana是一个开源的数据分析可视化平台。使用Kibana可以为Logstash和ElasticSearch提供的日志数据进行高效的搜索、可视化汇总和多维度分析，还可以与Elasticsearch搜索引擎之中的数据进行交互。它基于浏览器的界面操作可以快速创建动态仪表板，实时监控ElasticSearch的数据状态与更改。

ELK工作流程
一般都是在需要收集日志的所有服务上部署logstash，作为logstash shipper用于监控并收集、过滤日志，接着，将过滤后的日志发送给Broker，然后，Logstash Indexer将存放在Broker中的数据再写入Elasticsearch，Elasticsearch对这些数据创建索引，最后由Kibana对其进行各种分析并以图表的形式展示。

有些时候，如果收集的日志量较大，为了保证日志收集的性能和数据的完整性，logstash shipper和logstash indexer之间的缓冲器（Broker）也经常采用kafka来实现

ZooKeeper概念介绍
ZooKeeper就是分布式协调技术
在介绍ZooKeeper之前，先来介绍一下分布式协调技术，所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制，让他们有序的去访问某种共享资源，防止造成资源竞争（脑裂）的后果。

脑裂通过锁来控制

这里首先介绍下什么是分布式系统，所谓分布式系统就是在不同地域分布的多个服务器，共同组成的一个应用系统来为用户提供服务，在分布式系统中最重要的是进程的调度，这里假设有一个分布在三个地域的服务器组成的一个应用系统，在第一台机器上挂载了一个资源，然后这三个地域分布的应用进程都要竞争这个资源，但我们又不希望多个进程同时进行访问，这个时候就需要一个协调器，来让它们有序的来访问这个资源。这个协调器就是分布式系统中经常提到的那个“锁”。

是否已经被其他事务和进程获取 ，发现这个锁被其他进程资源占用，就进入到等待锁的状态

分布式中只有一把锁

如果不成功就进入等待锁状态，说明还是被别人用着呢

占用这把锁之后，通过这把锁访问整个分布式系统的资源 ，我访问时候，其它进程是没有权限访问资源，直到资源使用完毕，才释放这把锁，释放之后其它进程它才有机会在去获取这把锁，释放完以后，进入等待锁的状态 ，在接着下来就进入到下一轮获取锁的状态