FileBeat部署文档

一.下载

https://www.elastic.co/cn/downloads/beats/filebeat

二.安装

tar -zxvf filebeat-7.7.0-linux-x86_64.tar.gz -C /data/apps/
cd /data/apps/
mv filebeat-7.7.0-linux-x86_64 filebeat
vim /data/apps/filebeat/filebeat.yml
配置参考如下: 如下配置直接替换
filebeat.inputs:
- type: log
enable: true
paths:
- /data/log/gather-log/user-action/user-action.log #日志文件地址
fields:
logtopic: user_action_event_dev # kafka topic
fields_under_root: true #如果值为ture，那么fields存储在输出文档的顶级位置 如果与filebeat中字段冲突，自定义字段会覆盖其他字段
tail_files: true #如果此选项设置为true，Filebeat将在每个文件的末尾开始读取新文件，而不是开头
- type: log
paths:
- /data/log/gather-log/bluetooth-action/bluetooth-action.log
fields:
logtopic: user_action_event_dev
fields_under_root: true
tail_files: true

output.kafka:
enabled: true
hosts: ["x.x.x.21:9092","x.x.x.144:9092","x.x.x.x:9092”] #kafka broker 注意：逗号分隔，且每个broker实例用双引号包围
topic: '%{[fields.logtopic]}'
partition.hash:
reachable_only: true
compression: none
max_message_bytes: 10000000
required_acks: 1
codec.format:
string: '%{[message]}'

三.启动

## 检查配置是否正确
./filebeat -c filebeat.yml test config
Config OK

## 启动
/filebeat -e -c filebeat.yml

## 后台启动
nohup ./filebeat -e -c filebeat.yml > /data/apps/filebeat/filebeat.log 2>&1 &

#查看是否启动成功
ps -ef | grep filebeat

## 停止
ps -ef |grep filebeat |awk '{print $2}'|xargs kill