logstash数据采集

一.logstash简介

(一)Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
(二)Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器

1.输入：采集各种样式、大小和来源的数据
Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据
2.过滤器：实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响
3.输出：选择您的存储库，导出您的数据
尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例
ls 官网参考

二.安装配置

软件下载

rpm -ivh jdk-8u121-linux-x64.rpm logstash-7.6.1.rpm  #logstash安装

vim .bash_profile  #t添加环境变量logstash
PATH=$PATH:$HOME/bin:/usr/share/logstash/bin
source .bash_profile

logstash -e 'input { stdin { } } output { stdout {} }'  #标准输入到标准输出命令行形式

1.标准输入到文件
cd /etc/logstash/conf.d/
vim test.conf
input {
        stdin { }
}
output {
        file {
                path => "/tmp/logstash.txt"  #输出的文件路径
                codec => line { format => "custom format: %{message}"}  #定制数据格式
        }
        stdout { }
}
logstash -f test.conf  #指定配置文件运行

2.日志文件标准输出
chmod 644 /var/log/messages  #logstash程序后台运行是以logstash普通用户身份运行，对文件的权限相应修改
input {
        file {
        path => "/var/log/messages"
        start_position => "beginning"
        }
}
output {
        stdout { }
}

logstash如何区分设备、文件名、文件的不同版本，logstash会把进度保存到sincedb文件中
sincedb文件一共6个字段
inode编号
文件系统的主要设备号
文件系统的次要设备号
文件中的当前字节偏移量
最后一个活动时间戳（浮点数）
与此记录匹配的最后一个已知路径
/usr/share/logstash/data/plugins/inputs/file

3.本机日志文件输入到es主机
vim ceshi1.conf 
input {
        file {
        path => "/var/log/messages"
        start_position => "beginning"
        }
}
output {
        stdout { }
        elasticsearch {
        hosts => ["172.25.2.1:9200"]
        index => "syslog-%{+yyyy.MM.dd}"
        }
}
logstash -f ceshi1.conf

将数据存储为一个切片（切片也可以为多个），一个副本

4.logstash可以伪装成日志服务器，直接接受远程日志
input {
        syslog {}
}
output {
        stdout { }
        elasticsearch {
        hosts => ["172.25.2.1:9200"]
        index => "message-%{+yyyy.MM.dd}"
        }
}

配置客户端传入日志
[root@server4 elasticsearch]# vim /etc/rsyslog.conf
*.* @@172.25.2.5:514
systemctl restart rsyslog.service

5.多行过滤可以把多行日志记录合并为一行事件
[root@server4 elasticsearch]# scp my-es.log server5:/var/log/  #实验数据，借用server4的es日志

input {
        file {
        path => "/var/log/my-es.log"
        start_position => "beginning"
        codec => multiline {
        pattern => "^\["  #以[开头
        negate => "true"  #匹配时
        what => "previous"  #向上保存
        }
        }
}
output {
        stdout { }
        elasticsearch {
        hosts => ["172.25.2.1:9200"]
        index => "eslog-%{+yyyy.MM.dd}"
        }
}

6.grok过滤插件-apache服务日志过滤实战
yum install httpd -y
systemctl start httpd
echo server5 > index.html
[root@foundation2 software]# ab -c1 -n100 http://172.25.2.5/index.html  #压测一下

cd /var/log/httpd/
ll -d
chmod 755 .  #可进入权限，logstash后台运行时是以普通用户运行

input {
        file {
        path => "/var/log/httpd/access_log"
        start_position => "beginning"
        }
}
filter {
  grok {
    match => { "message" => "%{HTTPD_COMBINEDLOG}" }
  }
}
output {
        stdout { }
        elasticsearch {
        hosts => ["172.25.2.1:9200"]
        index => "apache-%{+yyyy.MM.dd}"
        }
}
cd /usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-patterns-core-4.1.2/patterns
cat httpd