logstash数据采集

目录

一、logstash简介

二、Logstash安装与配置

软件下载

logstash安装

三、elasticsearch输出插件

四、file输入插件

五、Syslog输入插件

六、多行过滤插件

七、grok过滤插件

---

一、logstash简介

Logstash是一个开源的服务器端数据处理管道。

logstash拥有200多个插件,能够同时从多个来源采集数据,转换数据,然后将数据发送到“存储库” 中。(大多都是 Elasticsearch。)

Logstash管道有两个必需的元素,输入和输出,以及一个可选元素过滤器。

输入:采集各种样式、大小和来源的数据

•  Logstash 支持各种输入选择 ,同时从众多常用来源捕捉事件。
• 能够以连续的流式传输方式,轻松地从日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器:实时解析和转换数据
数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

• 利用 Grok 从非结构化数据中派生出结构
• 从 IP 地址破译出地理坐标
• 将 PII 数据匿名化,完全排除敏感字段
• 简化整体处理,不受数据源、格式或架构的影响

输出:选择存储库,导出数据

• 尽管 Elasticsearch 是首选输出方向,能够为搜索和分析带来无限可能,但它并非唯一选择。
• Logstash 提供众多输出选择,可以将数据发送到要指定的地方,并且能够灵活地解锁众多下游用例

二、Logstash安装与配置

软件下载

下载中心 - Elastic 中文社区

logstash安装

[root@server4 ~]# rpm -ivh jdk-8u181-linux-x64.rpm
[root@server4 ~]# rpm -ivh logstash-7.6.1.rpm
[root@server4 bin]# ln -s /usr/share/logstash/bin/logstash /usr/bin
[root@server4 bin]# which logstash 

三、elasticsearch输出插件

标准输入到es主机:

[root@server4 ~]# cd /etc/logstash/conf.d/
[root@server4 conf.d]# vim test.conf
input {
        stdin {}
}

output {
        stdout {}

        elasticsearch {
                hosts => ["172.25.6.1:9200"] #输出到的ES主机与端口
                index => "logstash-%{+yyyy.MM.dd}"#定制索引名称
        }
}

指定配置文件运行

[root@server4 conf.d]# logstash -f /etc/logstash/conf.d/test.conf