![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 80
cigg153
大数据开发
展开
-
从源码看flume采集的数据是如何进入到kafka主题的同一分区
00 背景 在实际开发过程中,会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景,为消费者消费数据提供便利,例如,同一会员的消费信息、浏览信息等等。 此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区,并且希望能够在为类似需求场景提供解决方案的时候,提供可复制的思路,起到举一反三的效果。 01 工具 flume官网 flume源码 kafka集群 flume 0...原创 2018-10-07 16:04:48 · 1752 阅读 · 0 评论 -
Storm作为新消费者对接Kafka 0.10.x+版本
Storm应用场景—作为新消费者对接Kafka 0.10.x+版本(一) 00 背景 随着Kafka版本的升级,Storm作为消费者对接Kafka 0.10.x+版本的方式上,与之前存在差异,现将新的方式记录下来,为以后遇到使用Storm实时处理新版Kafka数据的场景时提供参考。 01 架构简介 架构如下图所示。 使用Flume组件采集数据时,采用双层架构,第一层的作用是采集,第二层的作用是聚...原创 2018-10-21 01:26:46 · 2104 阅读 · 0 评论