ELK日志分析平台——logstash数据采集（本地数据收集、远程ES节点数据收集、数据收集时的优化）

1.什么是logstash？

Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）
Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

2.logstash中的元素介绍

输入：采集各种样式、大小和来源的数据
Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
过滤器：实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响
输出：选择您的存储库，导出您的数据
尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

3.Logstash安装与配置

3.1 安装logstash

在server4上安装配置logstash
（1）获取logstash软件包

（2）logstash安装

rpm -ivh jdk-8u181-linux-x64.rpm	##安装java语言软件包
rpm -ivh logstash-7.6.1.rpm		##安装logstash

（3）命令行方式标准输入到标准输出

/usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

测试：从终端录入，从终端输出

3.2 配置file输出插件

标准输入到文件

vim /etc/logstash/conf.d/test.conf
input {
        stdin { }
}
output {
        file {
                path => "/tmp/logstash.txt"        	#输出的文件路径，把录入的数据保存到指定文件中
                codec => line { format => "custom format: %{message}"}	##指定存的数据格式是什么，%{message}表示你在终端下输的任何数据
        }
}

指定配置文件运行

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

在标准输入中键入信息后查看