目录
一、logstash简介
- Logstash是一个开源的服务器端数据处理管道。
- logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(大多都是 Elasticsearch。)
- Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。
1、输入:采集各种样式、大小和来源的数据
Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
2、过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
- 利用 Grok 从非结构化数据中派生出结构
- 从 IP 地址破译出地理坐标
- 将 PII 数据匿名化,完全排除敏感字段
- 简化整体处理,不受数据源、格式或架构的影响
3、输出:选择您的存储库,导出您的数据
尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。
Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
二、Logstash的安装与配置
- 软件下载
https://elasticsearch.cn/download/ - logstash安装
rpm -ivh jdk-8u171-linux-x64.rpm
rpm -ivh logstash-7.6.1.rpm
- 测试:标准输入到标准输出
/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
三、Logstash插件
1、file输出插件
- 标准输入到文件
vim /etc/logstash/conf.d/test.conf
##写入
input {
stdin { }
}
output {
file {
path => "/tmp/logstash.txt" ##输出的文件路径
codec => line { format => "custom format: %{message}"} ##定制数据格式
}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf
- 在标准输入中键入后可以查看:
cat /tmp/logstash.txt
2、elasticsearch输出插件
- 标准输入到ES主机:
vim /etc/logstash/conf.d/es.conf
##写入
input {
stdin { }
}
output {
elasticsearch {
hosts => "172.25.254.51:9200" #输出到的ES主机与端口
index => "logstash-%{+YYYY.MM.dd}" #定制索引名称
}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf
- 查看ES主机
数据成功写入:
3、file输入插件
- 把文件内容输出到ES主机
vim /etc/logstash/conf.d/es.conf
##写入
input {
file {
path => "/var/log/httpd/access_log"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => "172.25.254.51:9200"
index => "syslog-%{+YYYY.MM.dd}"
}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/es.conf
-
创造一些访问量
-
查看ES主机
可以查看到刚才写入的数据:
-
logstash如何区分设备、文件名、文件的不同版本?
logstash会把进度保存到sincedb文件中
# find / -name .sincedb*
/usr/share/logstash/data/plugins/inputs/file/.sincedb_452905a167cf4509fd08acb964fdb20c
# cd /usr/share/logstash/data/plugins/inputs/file/
# cat .sincedb_452905a167cf4509fd08acb964fdb20c
20297 0 64768 119226 1551859343.6468308 /var/log/messages
# ls -i /var/log/messages
20297 /var/log/messages
sincedb文件内容解释:
# cat .sincedb_452905a167cf4509fd08acb964fdb20c
20297 0 64768 119226 1551859343.6468308 /var/log/messages
- sincedb文件一共6个字段:
- inode编号
- 文件系统的主要设备号
- 文件系统的次要设备号
- 文件中的当前字节偏移量
- 最后一个活动时间戳(浮点数)
- 与此记录匹配的最后一个已知路径
4、Syslog输入插件
- logstash可以伪装成日志服务器,直接接受远程日志。
vim /etc/logstash/conf.d/syslog.conf
##写入
input {
syslog {
port => 514 #日志收集端口
}
}
output {
stdout { }
elasticsearch {
hosts => "172.25.254.51:9200"
index => "syslog-%{+YYYY.MM.dd}"
}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/syslog.conf
netstat -antulp |grep :514
- 配置客户端传入日志
vim /etc/rsyslog.conf
##写入
*.* @@172.25.254.57:514
systemctl restart rsyslog
5、多行过滤插件
- 多行过滤可以把多行日志记录合并为一行事件
vim /etc/logstash/conf.d/multiline.conf
##写入
input {
stdin {
codec => multiline {
pattern => "^EOF"
negate => true
what => previous
}
}
}
output {
stdout {}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/multiline.conf
- 查看输出
6、grok过滤插件
vim /etc/logstash/conf.d/grok.conf
##写入
input {
stdin {}
}
filter {
grok {
match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }
}
}
output {
stdout {}
}
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/grok.conf
- 查看输出
输入:
55.3.244.1 GET /index.html 15824 0.043
- apache服务日志过滤实验:
# vim /etc/logstash/conf.d/apache.conf
input {
file {
path => "/var/log/httpd/access_log"
start_position => "beginning"
}
}
filter{
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
}
}
output {
elasticsearch {
hosts => "172.25.254.51:9200"
index => "apachelog-%{+yyyy.MM.dd}"
}
}
注意:日志对应的格式可以在下面图片所示的路径下找到:
- 指定配置文件运行
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache.conf
注意:因为我们上面已经读取过一次access_log的文件了,所以此时没有数据录入,需要删除对应的.sincedb
文件
- 查看输出
可以看到,数据按照不同的类型分开了: