Logstash学习总结（一） 快速入门

一、简介

   1、Logstash是一个接收，处理，转发日志的工具；

   2、Logstash支持网络日志、系统日志、应用日志、apache日志等等，总之可以处理所有日志类型；

   3、典型应用场景ELK：logstash负责采集、解析日志，elasticsearch负责数据存储，kibana负责前端报表展示；

二、主要组件

   1、Input组件：负责采集日志数据，包括文件、syslog、collectd、kafka、redis等等；

   2、Filter：负责解析日志数据，包括解析、加工、转换数据等；

   3、Output：负责输出日志数据，对接到redis、kafka、elasticsearch、hdfs等存储组件；

三、安装配置

   1、下载所需logstash对应的安装包，这里以logstash-5.0.0.tar.gz为例；

   2、解压：tar -xzf logstash-5.0.0.tar.gz；

   3、根据需要修改配置文件config/logstash.yml，默认不修改即可运行：

        节点名称：node.name 

        日志级别：log.level（默认debug，如果想要看详细日志改为trace）

    4、根据需要调整jvm.options配置文件：

         -Xms256m

         -Xmx1g

四、启动方式

     1、直接命令行中通过-e指定配置启动

         bin/logstash -e 'input { stdin { } } output { stdout {} }'

     2、以-f参数从文件获取配置形式启动

         bin/logstash -f  test.conf（test.conf写好的配置文件）