如图1所示,一个flume-ng agent主要包括source,channel和sink三部分,三部分运行在java JVM中,JVM一般运行在linux'操作系统上,因此,这些因素都可能影响最终的性能。flume-ng性能优化与架构设计,简单来讲,也主要包括以上部分。
1.1 source 的配置
有时候不需要每台主机均安装flume agent,可以和sshpass等命令结合使用,灵活收集日志.
1.2 channel的配置
可选的一般为memory channel和file channel,
内存足够的话,一般建议选择时效性更好的memory channel,
agent.channels.memory_chan_1.type = memory
agent.channels.memory_chan_1.keep-alive &#