ELK之Logstash-shipper获取日志数据

Logstash是一个开源数据收集引擎,具有实时管道功能.Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地...

 

此时是logstash的左右是两部分,一是:接收来自微服务的日志推送,可以是tcp直接传输,也可以是日志文件;实践是通过tcp连接传输日志.二是推送出日志文件到redis中..

logstash的安装,就普通默认安装就好了...没其他要说的...

此时需要在bin的同级目录中创建conf文件夹,conf下创建touch logstash.conf文件;编写配置文件

此时的配置项为配置内容,启动时需要指定到该配置文件,才能生效.

nohup ./bin/logstash -f conf/logstash.conf &启动

logstash三要素:

input,filter和output...

input指定数据从哪里来,

filter对数据进行过滤处理

output指定将处理后的数据发送到哪里去.

这里tcp是input的插件

mode:可选server或client.server表示监听客户端连接;client表示去连接server

host:监听的server

port:监听的端口

codec:对输入数据进行编解码,转换格式,这样就不需要在filter中做这个事儿..."json_lines"是对有换行符("\n")的json串进行编解码."json"是对没有换行符json串进行编解码;

redis是output的插件:

data_type:可选list,channel或pattern_channel..此时使用的是list,后面redis客户端使用的时候的命令就是blpop命令处理redis内的元素.

host:redis server 的地址

key:即存储该list的key值

 

logstash作为shipper使用的时候,简单的配置就这么多.后续的更多配置,慢慢学习;

 

//todo

logstash配置