本文介绍了如何配置Filebeat和Logstash来实现Hadoop日志的收集。首先，需要准备好JDK 1.8、Hadoop 3.3.0、logstash 7.2.0和filebeat 7.2.0。接着，配置filebeat，然后配置logstash，包括两种同步到Hadoop的方式：webhdfs和本地落盘后再上传。在webhdfs方式中，由于可能的不稳定性，建议使用本地落盘方式以方便故障修复。最后，启动logstash，并在Hadoop上查看hdfs确认日志是否成功收集。
准备
- JDK 1.8
- Hadoop 3.3.0
- logstash 7.2.0
- filebeat 7.2.0
以上安装简单，此处不再做介绍，hadoop集群安装参考
filebeat配置
此处仅为简要配置，详细信息请参考官方文档
filebeat.inputs:
- type: log # 收集数据类型 log、json
# 是否开启收集
enabled: true
# 收集日志的路径，可模糊匹配
paths:
- /data/logs/test/*.log
# 可以设置标签，接收数据时根据标签区分处理
tags: ["test"]
filebeat.config.modules:
path: 
最低0.47元/天 解锁文章
扫一扫
920
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
