Logstash数据采集
logstash简介
-
logstash是一个开源的服务器端数据处理管道。
-
logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中(大多都是 Elasticsearch)。
-
logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。
-
输入:采集各种样式、大小和来源的数据
- logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件;
- 能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
-
过滤器:实时解析和转换数据
-
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
- 利用 Grok 从非结构化数据中派生出结构;
- 从 IP 地址破译出地理坐标;
- 将 PII 数据匿名化,完全排除敏感字段;
- 简化整体处理,不受数据源、格式或架构的影响。
-
-
输出:选择您的存储库,导出您的数据
- 尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择;
- logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
logstash安装与配置
- 实验环境:重新打开一台虚拟机server3,在其上安装logstash
- 步骤一:安装java和logstash软件
- 步骤二:输入输出的设定
我们可以采用file插件,将指定的标准输入输出放置到一个文件中
在使用时直接 -f 加上文件即可
也可以将从命令行输入的信息,经过logstash后的输出放置到指定的文件中
- 步骤三:elasticsearch插件的设定
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf
也可以在一个output里面加入多个插件
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf
- 步骤四:利用file插件和elasticsearch插件,将本地日志文件内容输出到es上
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf
当我们再次执行上述的命令时,logstash不会再从头采集/var/log/messages,因为在logstash中有一个记录信息收集进度的文件.sincedb
sincedb文件内容解释(从左往右依次解释其含义):
- inode编号;
- 文件系统的主要设备号;
- 文件系统的次要设备号;
- 文件中的当前字节偏移量;
- 最后一个活动时间戳(浮点数);
- 与此记录匹配的最后一个已知路径。
注意:即使将刚刚创建在es上的索引删除掉,当再次收集/var/log/messages也不会重新进行收集,只有将.sincedb文件删除后才会重新开始收集
- 步骤五:syslog输入插件
logstash可以伪装成日志服务器,直接接受远程日志
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf
我们在server9和server10上进行配置将这两台主机上的rsyslog也传入到server3上,让logstash也能够采集到
vim /etc/rsyslog.conf
systemctl restart rsyslog.service
- 步骤六:多行过滤插件
多行过滤可以把多行日志记录合并为一行事件
解释:这里的意思是当匹配到关键字EOF则进行向上合并
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf
多行过滤插件过滤远程elasticsearch主机的日志
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf
- 步骤七:grok过滤插件
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
apache服务日志过滤实战
yum install -y httpd
systemctl start httpd
cd /var/www/html/
echo KobeandGigi > index.html
查看httpd的日志格式模块
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf