本文深入探讨了Flume如何将数据通过源码中的KafkaSink发送到Kafka主题的同一分区。通过分析配置信息、获取topic和key、KafkaProducer的send()方法，揭示了当headers中的key相同，数据会被发送到相同分区的原理。了解这一过程有助于在实际开发中实现数据按key分发到Kafka的特定分区。
00 背景
在实际开发过程中，会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景，为消费者消费数据提供便利，例如，同一会员的消费信息、浏览信息等等。
此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区，并且希望能够在为类似需求场景提供解决方案的时候，提供可复制的思路，起到举一反三的效果。
01 工具
02 思路
flume采集的数据如何进入到kafka主题的同一分区？按照个人理解，这个问题需要清楚数据在flume和kafka之间流转的过程，也就是说flume将数据发送给kafka的时候，中间的具体细节是怎样的？
查看flume官网，可以看到flume数据流模型，如下图所示。
可以看出，首先，flume source组件负责接收外部数据源发送的事件，接着，channel组件负责存储source发送事件，然后sink组件负责消费channel中的事件，最后，由sink组件将事件发送到外部存
最低0.47元/天 解锁文章
扫一扫
1007
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
