一、ELK简介 :Elasticsearch+Logstash+Kibana
- Logstash: “我们不生产数据,我们只是数据的搬运工”
- Elasticsearch:后台数据的分布式存储平台和全文分析检索工具,存储+分析+检索
- Kibana:前端的可视化展示工具
这里对三个开源组件的安装就不做赘述了,都很简单,基本上是开箱即用的。下面我们就对他们的原理及实际应用做一些简单的了解吧
二、Logstash概述:收集、转换和存储数据
logstash最主要的任务就是收集数据,转换数据和存储数据,分别对应了(输入、过滤、输出)
1. 原理介绍:
- 输入: 采集各种样式、大小和来源的数据
- stdin-标准输入
- file-指定文件读取数据并输入到Logstash
- tcp-TCP输入
- 过滤器:实时解析和转换数据
- grok-利用正则对数据进行结构化处理
- date-时间处理器
- mutate-数据修改
- 输出:选择您的存储库,导出您的数据
- stdout-标准输出
- elasticsearch-将处理后的数据输出到Elasticsearch中
- file-将处理后的数据输出到指定文件中
. . .