kafka
文章平均质量分 80
cigg153
大数据开发
展开
-
从源码看flume采集的数据是如何进入到kafka主题的同一分区
00 背景在实际开发过程中,会遇到希望将采集的数据进入到kafka主题的同一分区中的需求场景,为消费者消费数据提供便利,例如,同一会员的消费信息、浏览信息等等。此篇主题是探讨flume采集的数据如何进入到kafka主题的同一分区,并且希望能够在为类似需求场景提供解决方案的时候,提供可复制的思路,起到举一反三的效果。01 工具flume官网flume源码kafka集群flume0...原创 2018-10-07 16:04:48 · 1737 阅读 · 0 评论 -
Storm作为新消费者对接Kafka 0.10.x+版本
Storm应用场景—作为新消费者对接Kafka 0.10.x+版本(一)00 背景随着Kafka版本的升级,Storm作为消费者对接Kafka 0.10.x+版本的方式上,与之前存在差异,现将新的方式记录下来,为以后遇到使用Storm实时处理新版Kafka数据的场景时提供参考。01 架构简介架构如下图所示。使用Flume组件采集数据时,采用双层架构,第一层的作用是采集,第二层的作用是聚...原创 2018-10-21 01:26:46 · 2082 阅读 · 0 评论 -
Kafka知识点记录
Kafka知识点记录consumer订阅topic之后,当consumer调用poll(Long)方法的时候,会自动加入消费者组,然后Kafka为consumer分配partition,接着Kafka将partion中的消息发送给consumer,consumer接收partition中的消息,提交offset。partition中的消息都有一个offset,offset是patiti...原创 2019-07-09 16:38:14 · 152 阅读 · 0 评论