ELK日志收集与搜索分析系统

ELK日志监控

什么是ELK

通俗来讲,ELK是由 Elasticsearch、Logstash、Kibana三个开源软件组成的一个组合体,ELK是elastic公司研发的一套完整的日志收集、分析和展示的企业级解决
方案,在这三个软件当中,每个软件用于完成不同的功能,ELK又称ELK stack,官方域名为:elastic.co,ELK stack的主要优点有如下几个:
1、处理方式灵活： elasticsearch 是实时全文索引，具有强大的搜索功能
2、配置相对简单：elasticsearch 的 API 全部使用 JSON 接口，logstash 使用模块配置，kibana 的配置文件部分更简单
3、检索性能高效:基于优秀的设计,虽然每次查询都是实时,但是也可以达到百亿级数据的查询秒级响应
4、集群线性扩展:elasticsearch 和 logstash 都可以灵活线性扩展
5、前端操作绚丽：kibana 的前端设计比较绚丽，而且操作简单

什么是 是 Elasticsearch

是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索。搜索、支持分布式可实现高可用、提供 API 接口，可以处理大规模日志数据，比如 Nginx、Tomcat、系统日志等功能。
Elasticsearch 使用 Java 语言开发，是建立在全文搜索引擎 Apache Lucene 基础之上的搜索引擎，https://lucene.apache.org/。

Elasticsearch 的特点:
分片:早期Elasticsearch V5.X、V6.X默认是5个分片,V7.X后就是1个分片，把数据拆成5份写入ES集群
1、实时搜索、实时分析
2、分布式架构、实时文件存储
3、文档导向,所有对象都是文档
4、高可用,易扩展,支持集群,分片与复制
5、接口友好,支持json

什么是kibana

kibana为elasticsearch提供一个查看数据的web界面,其主要是通过elasticsearch的API接口进行数据查找,并进行前端数据可视化的展现,另外还可以针对特定格式的数据生成相应的表格、柱状图、饼图等

为什么要使用ELK

ELK 组件在海量日志系统的运维中，可用于解决以下主要问题：
1、分布式日志数据统一收集,实现集中式查询和管理
2、故障排查
3、安全信息和事件管理
4、报表功能

ELK的好处

1、日志查询,问题排查,故障恢复,故障自愈
2、应用日志分析,错误报警
3、性能分析,用户行为分析

使用场景

Elasticsearch v7.6.1集群部署与使用