Logstash-7.3.0安装

Logstash-7.3.0安装

1、下载解压logstash

网速慢的可以从华为云上下载
https://mirrors.huaweicloud.com/logstash/7.3.0/logstash-7.3.0.tar.gz

cd /opt && mkdir logstash
cd /opt/logstash/
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.3.0.tar.gz
tar -zxvf logstash-7.3.0.tar.gz

2、测试验证logstash

cd /opt/logstash/logstash-7.3.0/bin
./logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["192.168.12.136:9200"] } stdout { codec => rubydebug }}'

此时窗口停留在"Successfully started Logstash API endpoint {:port=>9600}"状态，输入任意字符，如test log 123

{
      "@version" => "1",
    "@timestamp" => 2020-04-30T14:07:51.300Z,
          "host" => "centos140",
       "message" => "test log 123"
}

3、常用启动参数

参数	说明	举例
-e	立即执行，使用命令行里的配置参数启动实例	./bin/logstash -e ‘input {stdin {}} output {stdout {}}’
-f	指定启动实例的配置文件	./bin/logstash -f config/test.conf
-t	测试配置文件的正确性	./bin/logstash -f config/test.conf -t
-l	指定日志文件名称	./bin/logstash -f config/test.conf -l logs/test.log
-w	指定filter线程数量，默认线程数是5	./bin/logstash -f config/test.conf -w 8

为了方便使用命令，可以创建一个软链接

ln -s /opt/logstash/logstash-7.3.0/bin/logstash /usr/bin/

然后就可以用直接用logstash -e ‘input {stdin {}} output {stdout {}}’

4、logstash启动

cd /opt/logstash/logstash-7.3.0/bin
./logstash -f /opt/logstash/logstash-7.3.0/config/my.conf

5、到kibana中配置&查看日志

这里以之前测试的test log 123日志为例

• Create index pattern

Index pattern填写 logstash-*，点击Next step

• 选择索引，也可以不选择，这里选择时间索引为例，点击Create index pattern创建

• 创建完成后，点击Discover视图（选择根据时间索引）

No results match your search criteria

修改查查询时间

6、logstash停止

ps -ef|grep logstash
kill -9 进程号

7、logstash配置规则文件

新增配置文件my.conf到/opt/logstash/logstash-7.3.0/config目录下，采集tomcat日志

• 文件内容

# Sample Logstash configuration for creating a simple
# local -> Logstash -> Elasticsearch pipeline.

input {
  file {
    path => "/opt/tomcat/apache-tomcat-8.5.54/logs/*.log"
    start_position => beginning
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.12.136:9200","http://192.168.12.137:9200","http://192.168.12.138:9200"]
    index => "myapplog-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

• 文件检查

启动tomcat，然后参考步骤5配置kibana，查看日志

8、推荐阅读

Logstash 最佳实践