ELK-日志服务【logstash-安装与使用】

目录

【1】安装logstash

logstash input 插件的作用与使用方式

【2】input --> stdin插件：从标准输入读取数据，从标准输出中输出内容

【3】input -- > file插件：从文件中读取数据

【4】input -- > beat插件：从filebeat中读取数据，然后标准输出

【5】input --> kafka插件：从kafka中读取数据

logstash Filter 插件的作用与使用

【6】 Filter --> Grok 插件：将非结构化数据转换成 JSON 结构化数据

【7】Filter --> Geoip插件：根据IP地址提供对应的低于信息，经纬度、城市名等

【8】Filter --> Date插件：将日期字符串解析为日志类型，然后替换@timestamp字段或指定的其他字段

【9】Filter --> useragent插件：根据 agent 字段，解析出浏览器设备、操作系统等

---

【1】安装logstash

[root@logstash ~]# yum -y install java
[root@logstash ~]# yum -y localinstall logstash-7.4.0.rpm

logstash input 插件的作用与使用方式

【2】input --> stdin插件：从标准输入读取数据，从标准输出中输出内容

[root@logstash ~]# vim /etc/logstash/conf.d/stdin_logstash.conf

input {
  stdin {
    type => "stdin"
    tags => "stdin_tags"
  }
}
output {
  stdout {
    codec => rubydebug
  }
}

## 启动
[root@logstash ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/stdin_logstash.conf -r

【3】input -- > file插件：从文件中读取数据

[root@logstash ~]# vim /etc/logstash/conf.d/file_logstash.conf

input {
  file {
    path => "/var/log/messages"
    type => syslog
    exclude => "*.gz"                 # 排除，基于glob匹配语法
    start_position => "beginning"     # 第一次从头读取文件
    stat_interval => "3"              # 定时检查文件是否更新,默认1秒
  }
}
output {
  stdout {
    codec => rubydebug
  }
}

[root@logstash ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/file_logstash.conf -r

【4】input -- > beat插件：从filebeat中读取数据，然后标准输出

[root@logstash ~]# vim /etc/logstash/conf.d/beat_logstash.conf 

input {
  beats {
    port => 5044
  }
}
output {
  stdout {
    codec => rubydebug
  }
}

【5】input --> kafka插件：从kafka中读取数据

input {
  kafka {
    zk_connect => "kafka1:2181,kafka2:2181,kafka3:2181"
    group_id => "logstash"
    topic_id => "apache_logs"
    consumer_threads => 16
  }
}

logstash Filter 插件的作用与使用