filebeat简述
Filebeat是一个轻量级的采集工作,在服务器上安装后,Filebeat可以监控日志目录或者指定的日志文件,然后将这些信息到发送给logstarsh或直接发送给elasticsearch。
filebeat使用
1、解压安装包,不需要安装,直接可以使用
2、修改filebeat.yml文件(filebeat1.yml类似)
#=========================== Filebeat 输入 =============================
filebeat.inputs:
- type: log
enabled: true
paths: E:/elk/elasticsearch-6.6.0/logs/elasticsearch-service-x64.2019-05-20.log
document_type: srv_sys_elasticsearch
fields:
logtype: srv_sys_elasticsearch
#=========================== logstash输出=============================
output.logstash:
hosts: ["localhost:5044"]
3、启动 filebeat -e -c filebeat.yml
4、logstash.conf配置
总结:
1、我的日志都是通过syslog推送到同一台服务器,
2、11、12推过来的日志例如分别是应用的日志、主机的日志,每个ip的日志格式都不一样
3、我的想法开启三个filebeat,分别定义自己的index,然后根据不同的index做数据清洗
4、 分别启动:filebeat -e -c filebeat.yml filebeat -e -c filebeat1.yml
注:ES输出查看