ELK

ELK

ELK是一组开源软件的简称，其包括Elasticsearch、Logstash 和 Kibana。ELK已经成为目前最流行的集中式日志解决方案。

ElasticSearch简称ES，是一个实时的分布式搜索和分析引擎，可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。

Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析，并将数据发送给ES。

Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。

Filebeat是轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储。

Redis是NoSQL数据库(key-value)，也是数据轻型消息队列，不仅可以对高并发日志进行削峰还可以对整个架构进行解耦。

ELK用途
传统意义上，ELK是作为替代Splunk的一个开源解决方案。Splunk 是日志分析领域的领导者。日志分析并不仅仅包括系统产生的错误日志，异常，也包括业务逻辑，或者任何文本类的分析。而基于日志的分析，能够在其上产生非常多的解决方案：
1.问题排查。能够快速定位问题；基于日志做问题排查，有一种技术叫全链路追踪，比如阿里的eagleeye 或者Google的dapper，也算是日志分析技术里的一种。

2.监控和预警。 日志，监控，预警是相辅相成的。基于日志的监控，预警使得运维有自己的机械战队，大大节省人力以及延长运维的寿命。

3.关联事件。多个数据源产生的日志进行联动分析，通过某种分析算法，就能够解决生活中各个问题。比如金融里的风险欺诈等。

4.数据分析。 这个对于数据分析师和算法工程师都是有较大的用处。

ELK架构

参考文章：
ELK学习总结——我们为什么要用ELK
Linux搭建ELK日志收集系统：FIlebeat+Redis+Logstash+Elasticse
ELK + Filebeat + Kafka 分布式日志管理平台搭建