Flume多Agent串联，单Source多Chanel/Sink使用、单Source到HDFS和Kafka

最新推荐文章于 2022-01-19 11:28:29 发布

11号车厢

最新推荐文章于 2022-01-19 11:28:29 发布

阅读量520

点赞数

分类专栏： Flume1.6 文章标签： Flume

本文链接：https://blog.csdn.net/greenplum_xiaofan/article/details/98939796

版权

本文详细介绍了如何使用Flume进行多Agent串联，包括设置Avro Source和Sink实现数据传输，以及如何配置单Source连接多个Channel和Sink。内容涵盖从exec生成数据，通过Avro进行Agent间通信，到数据同时流向HDFS和Kafka的场景。同时，还探讨了Multiplexing和Replicating Channel Selector的用法，实现不同业务场景的数据处理和存储策略。

摘要由CSDN通过智能技术生成

文章目录

1、两个Agent串联

串联的Agent中间要采用Avro Sink和 Avro Source方式进行数据传输
在这里插入图片描述
案例：
Agent的结构：source -> channel -> sink -> source -> channel -> sink
Agent，Source选择：exec->memory->avro->avro->memory->logger
我是一台虚拟机测试，如果是两台或多台Agent，要注意bind的地址

exec-avro-agent.conf

###exec-avro-agent.conf文件###
exec-avro-agent.sources = exec-source
exec-avro-agent.channels = memory-channel
exec-avro-agent.sinks = avro-sink

exec-avro-agent.sources.exec-source.type = exec
exec-avro-agent.sources.exec-source.command = tail -F /home/hadoop/data/flume/multiple/chuanlian/input/avro_access.data

exec-avro-agent.channels.memory-channel.type = memory

exec-avro-agent.sinks.avro-sink.type = avro
exec-avro-agent.sinks.avro-sink.hostname = localhost
exec-avro-agent.sinks.avro-sink.port = 44444

exec-avro-agent.sources.exec-source.channels = memory-channel
exec-avro-agent.sinks.avro-sink.channel = memory-channel

avro-logger-agent.conf

###avro-logger-agent.conf文件###
avro-logger-agent.sources = avro-source
avro-logger-agent.channels = memory-channel
avro-logger-agent.sinks = logger-sink

avro-logger-agent.sources.avro-source.type = avro
avro-logger-agent.sources.avro-source.bind = localhost
avro-logger-agent.sources.avr