ELK档案:
ELK 是elastic公司提供的一套完整的日志收集以及展示的解决方案,传统意义上,ELK是作为替代Splunk的一个开源解决方案。Splunk 是日志分析领域的领导者。((Splunk不开源)
组成:
Elasticsearch,Logstash,Kibana //汇总
elasticsearch 数据存储(非关系型数据库)简称ES Java语言编写
用于全文的搜索,分析引擎 它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎
logstash 日志收集
具有传输能力 搜集起来的日志数据解析 发给 ES
kibana 提供可视化界面
在 Elasticsearch 的索引中查找,交互数据,并生成各种维度表格、图形。
作用:
基于日志问题的排查,可以快速找到发生故障的地方,提高效率
监控和预警
数据分析
关联事件 多个数据源产生的日志进行联动分析,通过某种分析算法,就能够解决生产中的各个问题。
原理:
lLogstash工作原理:
Logstash事件处理有三个阶段:inputs → filters → outputs。 //汇总(工作过程)
Input:输入数据到logstash。(大白话来说就是获取数据)
Filters:数据中间处理,对数据进行操作。
Outputs:outputs是logstash处理管道的最末端组件。
另外在Inputs和Outputs中可以使用Codecs对数据格式进行处理。