flume笔记(三) 多级agent连接模型

最新推荐文章于 2024-11-10 13:07:09 发布

kkongyu

最新推荐文章于 2024-11-10 13:07:09 发布

阅读量413

点赞数

分类专栏： flume hadoop

本文链接：https://blog.csdn.net/ting_163/article/details/84900909

版权

本文介绍了使用Flume构建两层agent连接的实践，通过avroSource和avroSink实现数据在不同agent间的跃点代理。详细步骤包括配置avro_hop.conf，依次启动a2和a1 agent，并验证它们的状态，最后展示了在a1输入数据及a2接收输出数据的过程。

摘要由CSDN通过智能技术生成

两层agent连接

agent 连接模型

avroSource和avroSink实现跃点agent代理：

配置avro_hop.conf

#a1:
	a1.sources = r1
	a1.sinks = k1
	a1.channels = c1
	
	a1.sources.r1.type = netcat
	al.sources.r1.bind = localhost
	a1.sources.r1.port = 44444
	
	a1.sinks.k1.type = avro
	a1.sinks.k1.bind = localhost
	a1.sinks.k1.port = 88888
	
	a1.channels.c1.type = memory
	a1.channels.c1.capacity = 1000
	a1.channels.c1.transactionCapacity = 100
	
	a1.sources.r1.channels = c1
	a1.sinks.k1.channel = c1
#a2:
	a2.sources = r2
	a2.sinks = k2
	a2.channels = c2
	
	a2.sources.r2.type = avro
	a2.sources.r2.bind = localhost
	a2.sources.r2.port = 88888
	
	a2.sinks.k2.type = logger
	
	a2.channels.c2.type = memory
	a2.chann