ELK系列 之 logstash的基本使用

一 理论

# 简介

参考文章：(839条消息) logstash简介及基本操作_Super.Mr_Yan的博客-CSDN博客_logstash

简单来说logstash就是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管道还可以让你根据自己的需求在中间加上滤网，Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

logstash的基本流程架构：input  |  filter  |  output 如需对数据进行额外处理，filter可省略。
 

二 时间

#  rpm 安装 

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch  # 导入eskey
rpm -ivh logstash-7.7.0.rpm  # 安装logstash

ln -s /usr/share/logstash/bin/logstash /usr/bin/logstash # 可以对logstash可执行文件建立一个软链接，便于直接使用logstash命令

有三个注意事项，原文：（六）Logstash日志收集注意事项_坚持，坚持，再坚持的博客-CSDN博客

否则，会出现logstash启动成功，logstash日志没有报错，但是elasticsearch中没有添加索引的情况。

# 保证收集的日志有查看权限

[root@node04 conf.d]# ll /var/log/nginx/access.log
-rw-r----- 1 root root 73148 Nov 15 13:17 /var/log/nginx/access.log
[root@node04 conf.d]# chmod 644 /var/log/nginx/access.log
[root@node04 conf.d]# ll /var/log/nginx/access.log
-rw-r--r-- 1 root root 73148 Nov 15 13:17 /var/log/nginx/access.log

logstash启动用户建议修改成root用户  vim /etc/systemd/system/logstash.service

[Service]
Type=simple
User=root
Group=root #修改成root

• 重启 logstash服务 查看系统日志 是否有权限报错

systemctl daemon-reload
systemctl restart logstash.service 
tail -f /var/log/messages

 # 检查logstash配置文件 慎用

/usr/share/logstash/bin/logstash "--path.settings" "/etc/logstash" "--path.config" "/etc/logstash/conf.d" -t

# 建议单个检查 不启动

/usr/share/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx.conf  # 只检查测试配置文件语法 不启动

# 启动 一般来测试filter写的怎么样

/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/nginx_access.conf  # 检查并启动conf一般来测试 filter写的怎么样

# filter不长的话也可以直接屏幕cmd 测试   ：logstash安装、配置及测试 - miclesvic - 博客园

logstash -e 'input {stdin {}}  filter {grok {match => { "message" => "%{COMBINEDAPACHELOG}" }}} output {stdout {}}' # 命令行 测试 filter 是否可用  测试屏幕 标准输入和输出

# 测试是 屏幕输入模式 否可以正常传输索引到es
logstash -e 'input {stdin {}} output {elasticsearch { hosts => ["10.69.15.30:9200"] index => "logstash-test-%{+YYYY.MM.dd}"}}'

# 去查看Elasticsearch现有索引

curl http://10.69.15.30:9200/_cat/indices | grep logstash  # 输入自己的esip:9200 grep过滤索引