ELK——Logstash数据采集、Kibana可视化

上一篇分享了ELK日志分析平台——Elasticsearch分布式搜索引擎
需要的话可以点击查看

logstash数据采集

一、logstash简介

Logstash是一个开源的服务器端数据处理管道。
logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。（大多都是 Elasticsearch。）如果太多的话可以加一个消息队列。
Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。

输入：采集各种样式、大小和来源的数据
Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件。
能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器：实时解析和转换数据
数据从源传输到存储库的过程中，Logstash 过滤器能够解析各个事件，识别已命名的字段以构建结构，并将它们转换成通用格式，以便更轻松、更快速地分析和实现商业价值。
利用 Grok 从非结构化数据中派生出结构
从 IP 地址破译出地理坐标
将 PII 数据匿名化，完全排除敏感字段
简化整体处理，不受数据源、格式或架构的影响

输出：选择您的存储库，导出您的数据
尽管 Elasticsearch 是我们的首选输出方向，能够为我们的搜索和分析带来无限可能，但它并非唯一选择。
Logstash 提供众多输出选择，您可以将数据发送到您要指定的地方，并且能够灵活地解锁众多下游用例。

二、Logstash安装与配置

1. 启动head

[root@server1 elasticsearch-head-master]# npm run start &
[1] 4126
[root@server1 elasticsearch-head-master]# 
> elasticsearch-head@0.0.0 start /root/7.6/elasticsearch-head-master
> grunt server

(node:4146) ExperimentalWarning: The http2 module is an experimental API.
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100

2. 安装配置logstash

[root@server1 elasticsearch-head-master]# cd
[root@server1 ~]# cd 7.6/
[root@server1 7.6]# ls
elasticsearch-7.6.1-x86_64.rpm  logstash-7.6.1.rpm
elasticsearch-head-master       master.zip
jdk-8u181-linux-x64.rpm         metricbeat-7.6.1-x86_64.rpm
kibana-7.6.1-x86_64.rpm         server2
[root@server1 7.6]# rpm -ivh jdk-8u181-linux-x64.rpm    # es自带jdk，但是仅限于es环境中；logstach也是基于java开发的
[root@server1 7.6]# rpm -ivh logstash-7.6.1.rpm 
[root@server1 7.6]# cd /usr/share/logstash/
[root@server1 logstash]# ls
bin           Gemfile       LICENSE.txt               modules     vendor
CONTRIBUTORS  Gemfile.lock  logstash-core             NOTICE.TXT  x-pack
data          lib           logstash-core-plugin-api  tools
[root@server1 logstash]# cd bin/
[root@server1 bin]# ls
benchmark.sh         logstash               logstash.lib.sh      pqrepair
cpdump               logstash.bat           logstash-plugin      ruby
dependencies-report  logstash-keystore      logstash-plugin.bat  setup.bat
ingest-convert.sh    logstash-keystore.bat  pqcheck              system-install
[root@server1 bin]# pwd
/usr/share/logstash/bin     # logstach二进制命令的路径

三、Logstash输入输出

1. 标准输入到标准输出

[root@server1 bin]# /usr/share/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'
#  stdin {} 标准输入 stdout {} 标准输出

2. 文件方式编写标准输入到标准输出

和命令行编写是一个效果，这种方式是在文件中读取

[root@server1 bin]# cd /etc/logstash/
[root@server1 logstash]# ls
conf.d       log4j2.properties     logstash.yml   startup.options
jvm.options  logstash-sample.conf  pipelines.yml
[root@server1 logstash]# cd conf.d/
[root@server1 conf.d]# ls
[root@server1 conf.d]# pwd
/etc/logstash/conf.d   #这是一个include目录，logstash启动的时候会读这里的内容

[root@server1 conf.d]# vim test.conf

input {
        stdin {}
}

output {
	stdout {}
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf 

3. 标准输入到文件 / file输出插件

[root@server1 conf.d]# vim test.conf 

input {
        stdin {}
}

output {
	stdout {}

        file {       # file插件
                path => "/tmp/test.file"              # 输出的文件路径
                codec => line { format => "custom format: %{message}"}         # 定制数据格式
        }
}
[root@server1 conf.d]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf    # 指定配置文件运行

查看

[root@server1 conf.d]# cd /tmp/
[root@server1 tmp]# ls
hsperfdata_root
systemd-private-18422d27852242d6b402f17c79ff58c1-elasticsearch.service-Y7Q4mx
systemd-private-57d0ad5898db4c36aad57ef2fddc6e75-elasticsearch.service-hCrUfE
test.file
[root@server1 tmp]# cat test.file 
custom format: what
custom format: beautiful

4. 标准输入到es主机 / elasticsearch输出插件

[root@server1 tmp]# cd -
/etc/logstash/conf.d
[root@server1 conf.d]# vim test.conf 

input {
        stdin {}
}

output {
	stdout {}

        file {
                path => "/tmp/test.file"
                codec => line { format => "custom format: %{message}"}
        }

	elasticsearch {        #输出到es
	hosts => ["172.25.5.1:9200","172.25.5.2:9200","172.25.5.3:9200"]     # [ ]列表，输出到的ES主机与端口，这样一个节点挂了还有另外一个
	index => "logstash-%{+YYYY.MM.dd}"    # 索