ELK的原理与介绍

ELK：

ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana 。

当今业界非常流行的日志采集保存和查询的系统。

使用ELK的原因

程序会存在许多日志信息,如何保存和查询日志信息是一个问题。

Idea控制台是临时显示的位置,可以将它保存在文件中。

但即使保存在文件中,海量日志信息要想查询需要的条目同样是个问题。

故我们使用ELK来保存日志信息并能够快速便捷地查询。

Elasticsearch

Elasticsearch(全文搜索引擎):一个由Java编写的开源分布式搜索引擎，高效的从大量数据中搜索匹配指定关键字的内容，提供搜集、分析、存储数据三大功能。

elastic:富有弹性的
search:搜索

Elasticsearch使用了Java的一套名为Lucene的API，该API提供了全文搜索引擎核心操作的接口（即搜索引擎的核心支持）。

Elasticsearch是在Lucene的基础上进行了完善,实现了开箱即用。

原因：数据库存在模糊查询效率严重低下的缺点。

特点：

• 分布式
• 零配置
• 自动发现
• 索引自动分片
• 索引副本机制
• Restful风格接口
• 多数据源-
• 自动搜索负载等。

Elasticsearch官方文档：https://www.elastic.co/cn/products/elasticsearch

Logstash

Logstash(日志采集工具)：一款开源的日志采集,处理,输出的软件,每秒可以处理数以万计条数据,可以同时从多个来源采集数据,转换数据,然后将数据输出至自己喜欢的存储库中(官方推荐的存储库为Elasticsearch)。

主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式，还可以自动完成数据库数据和Elasticsearch中数据的同步问题。

一般工作方式为c/s架构，Client端安装在需要收集日志的主机上，Server端负责将收到的各节点日志进行过滤、修改等操作在一并发往Elasticsearch上去。

LogStash内部有3个处理数据的步骤

• input 将数据源的数据采集到Logstash
• filter (非必要)如果需要可以对采集到的数据进行处理
• output 将处理好的数据保存到目标(一般是Elasticsearch)

Logstash官方文档：https://www.elastic.co/cn/products/logstash

Kibana

Kibana(Elasticsearch的可视化工具 ):可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

Kibana官方文档：https://www.elastic.co/cn/products/kibana