ELK日志分析平台(二)----logstash数据采集

最新推荐文章于 2024-07-22 02:52:02 发布

大V天龙123

最新推荐文章于 2024-07-22 02:52:02 发布

阅读量1.4k

点赞数 1

文章标签：开发语言后端

本文链接：https://blog.csdn.net/weixin_62615875/article/details/122133724

版权

本文介绍了Logstash作为开源数据处理管道的功能，包括从多个来源采集、过滤和输出数据。重点讲述了如何配置file输出插件将日志发送到Elasticsearch，以及使用grok过滤器解析非结构化数据。此外，还讨论了多行过滤和日志收集端口设置，展示了Logstash在日志管理和分析中的实用性。

摘要由CSDN通过智能技术生成

logstath数据处理管道

介绍

Logstath是一个开源的服务器端数据处理管道

Logstath拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您喜欢的"存储库"中。

Logstath管道有两个必须的元素，输入和输出，以及一个可选的元素过滤器

输入：采集各种样式、大小和来源的数据

Logstash 支持各种输入选择，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响
输出：选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

切换master

初始master为server2

修改配置文件，重启

查看日志求换成功

标准输入到标准输出（命令）

下载jdk与logstash

管道输出输入什么输出什么

logstash -e 'input { stdin { }} output { stdout {} }' ##标准输入输出，键盘输入，屏幕输出。ctrl+c退出

file输出插件

编辑配置文件运行自动生成Java数据处理管道

- sincedb文件内容解释
  # cat .sincedb_*
	sincedb文件一共6个字段
		1.inode编号
		2.文件系统的主要设备号
		3.文件系统的次要设备号
		4.文件中的当前字节偏移量
		5.最后一个活动时间戳（浮点数）
		6.与此记录匹配的最后一个已知路径

将文件内容输出到es主机
cat test.conf 
input {
        file {
 	path => "/var/log/messages"
	start_position => "beginning"
	}
}
output {
     	stdout {}
     	#file {
        #        path => "/tmp/testfile"
        #        codec => line { format => "custom format: %{message}"}
        #}
	elasticsearch {
	hosts => ["172.25.13.2:9200"]
	index => "syslog-%{+yyyy.MM.dd}"
	}
}
logstash -f /etc/logstash/conf.d/test.conf ##运行去网页查看采集到的日志

查看采集的日志

logstash可以伪装成日志服务器，直接接受远程日志

port => 514 日志收集端口将日志共享给server4 接收到远程日志 logger可自行输入数据到日志