关于配置flume-ng负载均衡

最新推荐文章于 2024-07-13 17:35:55 发布

zju小新

最新推荐文章于 2024-07-13 17:35:55 发布

阅读量991

点赞数 1

分类专栏： flume hadoop 文章标签： flume 负载均衡 hdfs

本文链接：https://blog.csdn.net/qq_35347459/article/details/75647593

版权

本文介绍了如何在实际项目中使用Flume-ng实现负载均衡，通过创建分层写入的拓扑结构，将数据分散到多台机器的HDFS上，以降低单一节点的压力。配置包括一个收集数据的agent1和三个分担负载的agent2-4。启动和通信过程中，需要注意启动顺序、端口选择以及Avro RPC的使用。

摘要由CSDN通过智能技术生成

在实际项目中，为了减轻一次性向hdfs上写数据，往往采用分层写入的功能，以减少负载，负载的分层拓扑图如下：
这里写图片描述
选择四台机器，一台作为agent1，负责收集数据进行多sink传输数据，三台作为分层负载。
agent1的配置：

a1.sources=r1
a1.sinks=k1 k2 k3
a1.channels=c1

#source
a1.sources.r1.type=exec
a1.sources.r1.command=tail -F /usr/test/a.txt
#sink group 
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2 k3
a1.sinkgroups.g1.processor.type=load_balance
a1.sinkgroups.g1.processor.backoff=true
#设置为轮询调度
a1.sinkgroups.g1.processor