一、简介
1、Logstash是一个接收,处理,转发日志的工具;
2、Logstash支持网络日志、系统日志、应用日志、apache日志等等,总之可以处理所有日志类型;
3、典型应用场景ELK:logstash负责采集、解析日志,elasticsearch负责数据存储,kibana负责前端报表展示;
1、Input组件:负责采集日志数据,包括文件、syslog、collectd、kafka、redis等等;
2、Filter:负责解析日志数据,包括解析、加工、转换数据等;
3、Output:负责输出日志数据,对接到redis、kafka、elasticsearch、hdfs等存储组件;
三、安装配置
1、下载所需logstash对应的安装包,这里以logstash-5.0.0.tar.gz为例;
2、解压:tar -xzf logstash-5.0.0.tar.gz;
3、根据需要修改配置文件config/logstash.yml,默认不修改即可运行:
节点名称:node.name
日志级别:log.level(默认debug,如果想要看详细日志改为trace)
4、根据需要调整jvm.options配置文件:
-Xms256m
-Xmx1g
四、启动方式
1、直接命令行中通过-e指定配置启动
bin/logstash -e 'input { stdin { } } output { stdout {} }'
2、以-f参数从文件获取配置形式启动
bin/logstash -f test.conf(test.conf写好的配置文件)