kafka
文章平均质量分 80
cigg153
大数据开发
展开
-
从源码看flume采集的数据是如何进入到kafka主题的同一分区
00 背景 在实际开发过程中,会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景,为消费者消费数据提供便利,例如,同一会员的消费信息、浏览信息等等。 此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区,并且希望能够在为类似需求场景提供解决方案的时候,提供可复制的思路,起到举一反三的效果。 01 工具 flume官网 flume源码 kafka集群 flume 0...原创 2018-10-07 16:04:48 · 1745 阅读 · 0 评论 -
Storm作为新消费者对接Kafka 0.10.x+版本
Storm应用场景—作为新消费者对接Kafka 0.10.x+版本(一) 00 背景 随着Kafka版本的升级,Storm作为消费者对接Kafka 0.10.x+版本的方式上,与之前存在差异,现将新的方式记录下来,为以后遇到使用Storm实时处理新版Kafka数据的场景时提供参考。 01 架构简介 架构如下图所示。 使用Flume组件采集数据时,采用双层架构,第一层的作用是采集,第二层的作用是聚...原创 2018-10-21 01:26:46 · 2095 阅读 · 0 评论 -
Kafka知识点记录
Kafka知识点记录 consumer订阅topic之后,当consumer调用poll(Long)方法的时候,会自动加入消费者组,然后Kafka为consumer分配partition,接着Kafka将partion中的消息发送给consumer,consumer接收partition中的消息,提交offset。 partition中的消息都有一个offset,offset是patiti...原创 2019-07-09 16:38:14 · 157 阅读 · 0 评论