ELK(6)——logstash数据采集

1.logstash简介

Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

输入：采集各种样式、大小和来源的数据

 Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash
过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响.

输出：选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。 Logstash
提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

2.软件下载

https://elasticsearch.cn/download/
logstash安装
 rpm -ivh jdk-8u171-linux-x64.rpm
#rpm -ivh logstash-7.6.1.rpm

3.file输出插件

(1) 标准输入到标准输出

/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

输入回车即出结果。


(2) 标准输入到文件

# vim /etc/logstash/conf.d/file.conf
input {
        stdin { }
}
output {
        file {
                path => "/tmp/logstash.txt"        	#输出的文件路径
                codec => line { format => "custom format: %{message}"}							#定制数据格式
        }
}

指定配置文件运行

# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file.conf

在终端输入的均保存在指定的文件里：


（3）标准输入到es主机：

# vim /etc/logstash/conf.d/es.conf
input {
        stdin { }
}
output {
        elasticsearch {
                hosts => "172.25.0.13:9200"    #输出到的ES主机与端口
                index => "logstash-%{+YYYY.MM.dd}"   #定制索引名称
        }
}

（4）把文件内容输出到es主机

# vim /etc/logstash/conf.d/es.conf
input {
        file {
		path => "/var/log/messages"
		start_position => "beginning"
	}
}
output {
        elasticsearch {
                hosts => "172.25.0.13:9200"
                index => "syslog-%{+YYYY.MM.dd}"
		template_name => "system_template"
        }
}

若想重新执行一遍需要：删除已经存在的文件

删除隐藏文件：



若程序没关闭是实时跟新的：

4.logstash如何区分设备、文件名、文件的不同版本

logstash如何区分设备、文件名、文件的不同版本
logstash会把进度保存到sincedb文件中
# find / -name .sincedb*
/usr/share/logstash/data/plugins/inputs/file/.sincedb_452905a167cf4509fd08acb964fdb20c
# cd /usr/share/logstash/data/plugins/inputs/file/
# cat .sincedb_452905a167cf4509fd08acb964fdb20c 
20297 0 64768 119226 1551859343.6468308 /var/log/messages
# ls -i /var/log/messages
20297 /var/log/messages

sincedb文件内容解释

# cat .sincedb_452905a167cf4509fd08acb964fdb20c
20297 0 64768 119226 1551859343.6468308 /var/log/messages
sincedb文件一共6个字段
inode编号
文件系统的主要设备号
文件系统的次要设备号
文件中的当前字节偏移量
最后一个活动时间戳（浮点数）
与此记录匹配的最后一个已知路径

另开一个终端查看偏移量：