02-ELK指南-LogStash安装

LogStash安装

1、LogStash插件介绍

Logstash是一个具有实时管道的开源数据收集引擎。可以动态地统一不同来源的数据，并将数据归到不同目的地。也是一个管理事件和日志工具。你可以用它来收集日志，分析它们，并将它们储存起来以供  以后使用。

Logstash 通常都是和 Kibana 以及 Elasticsearch 一起使用。

2、logStash安装

#注意版本和elasticsearch,kibana 必须保持一致，es,kibana都是6.2.4版本 wget  https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.tar.gz #解压 tar -zxvf logstash-6.2.4.tar.gz # 启 动 基 本 的 intput output #stdin stdout 输入输出插件 ./logstash -e 'input{ stdin{} } output{ stdout{} }'

# codec ./logstash -e 'input{ stdin{} } output{ stdout{ codec => json } }' #日志内容写入elasticsearch ./logstash -e 'input{ stdin{} } output{ elasticsearch{hosts => ["192.168.66.66:9200"]} }'

#日志内容写入elasticsearch，同时输出 #注意elasticsearch插件的语法格式：hosts 对应数组 ./logstash -e 'input{ stdin{} } output{ elasticsearch{hosts => ["192.168.66.66:9200"]} stdout{} }'

3、logStash插件
3.1 input插件

输入比较常见的几个插件：stdin、file、http、tcp

3.2 output插件

把日志内容输出到 elasticsearch 插件：

3.3 codec插件

Codec（Code  Decode）Plugin作用于input和output   plugin，负责将数据在原始与Logstash之间转换，常见的codec有：

plain 读取原始内容

dots 将内容简化为点进行输出

rubydebug 将内容按照ruby格式输出，方便调试

line 处理带有换行符的内容json 处理json格式的内容multiline 处理多行数据的内容

4、logStash配置

4.1 创建配置

1. 1. 、配置语法

 开始配置：

input { stdin { } } output { elasticsearch { hosts => ["192.168.66.66:9200"] } stdout { codec => rubydebug } }

#启动命令 bin/logstash -f config/logstash.conf

5、file日志收集

#建立新的配置文件 mv logstash.conf file.conf #详细配置如下 input { file{ path => "/var/log/messages" #收集messages文件日志type => "system" start_position => "beginning" #记录上次收集的位置 } } output { elasticsearch { hosts => ["192.168.66.66:9200"] #写入elasticsearch的地址 index => "system-%{+YYYY.MM.dd}" #定义索引的名称 } stdout { codec => rubydebug } }

#启动logstash,配置文件名字叫什么无所谓 bin/logstash -f config/file.conf

收集效果如下所示：

注：二次启动logstash时，日志文件不会重复读取。因为系统以及记录了文件读取的位置。如果想重复读取需要删除sincedb。

使用：find / -name .sincedb_*

[root@es129 log]# find / -name .sincedb_* /opt/logstash- 6.2.4/data/plugins/inputs/file/.sincedb_0d03f373e2679dd1b3903fabc34424ae

6、项目日志

1）、logstash收集日志

#通过tcp协议输入 input { tcp {           port => 9601           codec => json           }    } output { elasticsearch {          hosts => ["192.168.66.66:9200"]           index => "kkb-log-%{+YYYY.MM.dd}"           }      stdout {codec => rubydebug } 14  }

所有文章都是以专栏系列编写，建议系统性学习，更容易成为架构师！

博主每天早晚坚持写博客给与读者价值提升，为了让更多人受益，请多多关照，如果觉得文章质量有帮助到你，请关注我的博客，收藏此文，持续提升，奥利给！

另外我不打算靠运营方式拿到博客专家的认证，纯纯的科技与狠活来征服读者，就看读者的感恩之心了，祝你好运连连。