在实际项目中,为了减轻一次性向hdfs上写数据,往往采用分层写入的功能,以减少负载,负载的分层拓扑图如下:
选择四台机器,一台作为agent1,负责收集数据进行多sink传输数据,三台作为分层负载。
agent1的配置:
a1.sources=r1
a1.sinks=k1 k2 k3
a1.channels=c1
#source
a1.sources.r1.type=exec
a1.sources.r1.command=tail -F /usr/test/a.txt
#sink group
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2 k3
a1.sinkgroups.g1.processor.type=load_balance
a1.sinkgroups.g1.processor.backoff=true
#设置为轮询调度
a1.sinkgroups.g1.processor