Linux企业实战（五十三）——ELK日志分析平台（三）

Logstash数据采集

logstash简介

• logstash是一个开源的服务器端数据处理管道。

• logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中（大多都是 Elasticsearch）。

• logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。
  

• 输入：采集各种样式、大小和来源的数据

  • logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件；
  • 能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    

• 过滤器：实时解析和转换数据

  • 数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

    • 利用 Grok 从非结构化数据中派生出结构；
    • 从 IP 地址破译出地理坐标；
    • 将 PII 数据匿名化，完全排除敏感字段；
    • 简化整体处理，不受数据源、格式或架构的影响。

• 输出：选择您的存储库，导出您的数据

  • 尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择；
  • logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。
    

logstash安装与配置

• 实验环境：重新打开一台虚拟机server3，在其上安装logstash
• 步骤一：安装java和logstash软件
  
• 步骤二：输入输出的设定
  
  
  我们可以采用file插件，将指定的标准输入输出放置到一个文件中
  
  在使用时直接 -f 加上文件即可
  
  也可以将从命令行输入的信息，经过logstash后的输出放置到指定的文件中
  
  
• 步骤三：elasticsearch插件的设定
  

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf

也可以在一个output里面加入多个插件

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf

• 步骤四：利用file插件和elasticsearch插件，将本地日志文件内容输出到es上
  

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf

当我们再次执行上述的命令时，logstash不会再从头采集/var/log/messages,因为在logstash中有一个记录信息收集进度的文件.sincedb

sincedb文件内容解释（从左往右依次解释其含义）：

• inode编号；
• 文件系统的主要设备号；
• 文件系统的次要设备号；
• 文件中的当前字节偏移量；
• 最后一个活动时间戳（浮点数）；
• 与此记录匹配的最后一个已知路径。

注意：即使将刚刚创建在es上的索引删除掉，当再次收集/var/log/messages也不会重新进行收集，只有将.sincedb文件删除后才会重新开始收集

• 步骤五：syslog输入插件
  logstash可以伪装成日志服务器，直接接受远程日志
  

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf 

我们在server9和server10上进行配置将这两台主机上的rsyslog也传入到server3上，让logstash也能够采集到

vim /etc/rsyslog.conf

systemctl restart rsyslog.service

• 步骤六：多行过滤插件
  多行过滤可以把多行日志记录合并为一行事件
  
  解释：这里的意思是当匹配到关键字EOF则进行向上合并

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf 

多行过滤插件过滤远程elasticsearch主机的日志

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/elk.conf 

• 步骤七：grok过滤插件
  

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf

apache服务日志过滤实战

yum install -y httpd
systemctl start httpd
cd /var/www/html/
echo KobeandGigi > index.html

查看httpd的日志格式模块

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf