ELK日志分析平台之Logstash数据采集

最新推荐文章于 2022-05-18 16:42:41 发布

S4061222

最新推荐文章于 2022-05-18 16:42:41 发布

阅读量732

点赞数 1

分类专栏：笔记

本文链接：https://blog.csdn.net/weixin_44992260/article/details/119727501

版权

logstash简介

Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

输入：采集各种样式、大小和来源的数据

Logstash 支持各种输入选择，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

在这里插入图片描述
过滤器：实时解析和转换数据

数据从源传输到存储库的过程中，Logstash
过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。

- 利用 Grok 从非结构化数据中派生出结构
- 从 IP 地址破译出地理坐标
- 将 PII 数据匿名化，完全排除敏感字段
- 简化整体处理，不受数据源、格式或架构的影响

输出：选择您的存储库，导出您的数据

尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。 Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

在这里插入图片描述

实验环境：
接上篇，server7、server8、server9，是Elasticsearch集群
logstash数据采集 (重量级！！！)，占内存，，需要java
通过logstash来往里面存数据，耗费资源，不建议在集群中，新建虚拟机server10

三种解决内存占用方法：
不锁定内存1G，jvm缩小，swap打开

安jdk和logstask
在这里插入图片描述
可以作软链接，此处不再演示

在这里插入图片描述
标准输入hello word，标准输出hello word；标准输入jiaojaio，标准输出jiaojiao

在这里插入图片描述

编辑 test.conf文件

-f 指定文件
在这里插入图片描述

-e编辑（必备输入输出，过滤可选），调用标准输入和标准输出
%message :接收变量,接受stdin的输入内容
在这里插入图片描述
命令行标准输入hello world，输出到了/tmp/testfile文件中

查看 /tmp/testfile 文件

在这里插入图片描述

关注