12:Logstash｜Web日志实时分析

logstash

一个数据采集、加工处理以及传输的工具
特点：

• 所有类型的数据集中处理
• 不同模式和格式数据的正常化
• 自定义日志格式的迅速扩展
• 为自定义数据源轻松添加插件

logstash工作结构

• input 负责收集数据
• filter 负责数据处理
• output 负责输出数据

安装Logstash

最低配置： 2cpu，2G内存，10G硬盘
虚拟机IP： 192.168.1.47 logstash
1.配置主机名，ip和yum源，配置/etc/hosts

[root@logstash ~]# vim /etc/hosts
192.168.1.41    es-0001
192.168.1.42    es-0002
192.168.1.43    es-0003
192.168.1.44    es-0004
192.168.1.45    es-0005
192.168.1.46    kibana
192.168.1.47    logstash

2.安装java-1.8.0-openjdk和logstash

[root@logstash ~]# yum -y install java-1.8.0-openjdk logstash
[root@logstash ~]# java -version
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)
[root@logstash ~]# ln -s /etc/logstash /usr/share/logstash/config 
# 基础配置样例
[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
    
  stdin {
   } # 手工录入 标准输入
}
filter{
    }
output{
    
  stdout{
   } # 标准输出
}
[root@logstash ~]# /usr/share/logstash/bin/logstash

编写logstash配置文件

标准输入采用 json 编码格式
标准输出采用 rubydebug 编码格式
启动 logstash 验证

步骤一：codec类插件

1）codec类插件

[root@logstash ~]# vim /etc/logstash/conf.d/my.conf
input {
    
  stdin {
    codec => "json" }
}
filter{
    }
output{
    
  stdout{
    codec => "rubydebug" }
}
[root@logstash ~]# /usr/share/logstash/bin/logstash
Settings: Default pipeline workers: 2
Pipeline main started
a
{
   
       "message" => "a",
           "tags" => [
          [0] "_jsonparsefailure"
],
      "@version" => "1",
    "@timestamp" => "2020-05-23T12:34:51.250Z",
          "host" => "logstash"
}

插件帮助手册

logstash里面插件众多，不同的插件参数也不同<