本文介绍了一种使用Flume实现实时日志采集的方法，通过配置两个agent，一个作为source监听源服务器的日志文件，另一个作为sink接收并记录到目标服务器。配置文件包括设置exec source读取日志，avro sink发送到目标服务器的端口，以及在目标服务器上设置avro source接收数据，logger sink用于输出。通过在监听文件中写入测试数据并观察目标服务器的输出，验证了配置的有效性。
条件有限，在一台机器上进行了测试
思路是这样：将一台服务器部署的flume中的sink对接到另一台服务器flume中的source。
那么，agent 1：exec source + memory channel + avro sink
agent 2 : avro source + memory channel + logger sink
1.写配置文件
配置文件一 example3.conf：
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F “监听文件路径”
a1.sources.r1.shell = /bin/sh -c
a1.sinks.k1.type = avro
a1.sinks.k1.hostna
最低0.47元/天 解锁文章
扫一扫
711
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
