storm-kafka-plus源码阅读

最新推荐文章于 2016-07-28 12:09:31 发布
最新推荐文章于 2016-07-28 12:09:31 发布
阅读量737 收藏
点赞数
分类专栏： storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caodaoxi/article/details/20576307
版权

ZkState.java 主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化.

DynamicBrokersReader.java 维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息. 

getBrokerInfo获取分区与partition leader的之间关系.返回类型为GlobalPartitionInformation

GlobalPartitionInformation维护了分区与partition leader的之间关系.

ZkBrokerReader主要是对GlobalPartitionInformation作cache,并定期刷新分区信息.

DynamicPartitionConnections维护了分区与该分区cosumer连接的对应关系.


PartitionManager维护了partition,taskid,DynamicPartitionConnections之间的对应关系.

caodaoxi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（六）storm-kafka源码走读之PartitionManager
iTer的专栏
11-09 5766
PartitionManager算是storm-kafka核心的代码了，主要负责message读取、发送、容错处理等等
storm-kafka-0.8-plus-test:Storm-kafka-0.8-plus的简单测试项目
03-29
风暴卡夫卡0.8加测试根据以下信息提供的storm-kafka-0.8-plus测试项目： [ ]（ ） [ ]（ ） [ ]（ ） [ ]（ ） 还包含尝试基于[Hazelcast]的三叉戟状态的示例实现（ ） ##使用环境设置如果您使用的是Mac，请按照的...
storm-kafka-0.8-plus 源码解析
weixin_30699955的博客
06-25 59
https://github.com/wurstmeister/storm-kafka-0.8-plus http://blog.csdn.net/xeseo/article/details/18615761 准备，一些相关类 GlobalPartitionInformation (storm.kafka.trident) 记录partitionid和broker的关系 Gl...
Storm——Storm集成kafka
jiangjun_3567031的博客
10-26 390
原帖地址：http://blog.csdn.net/xeseo 前言 在前面Storm系列之——基本概念一文中，提到过Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍。 Kafka的基本介绍：http://blog.csdn.net/xeseo/artic
Storm应用系列之——集成Kafka [复制链接]
小飞侠的博客
03-08 951
问题导读： Kafka集群中的Broker地址,有哪两种方法指定? TransactionalTridentKafkaSpout的作用是什么？ 本地模式无法保存Offset该如何解决？ 前言Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍
Storm应用系列之——集成Kafka
热门推荐
Edison Xu
01-21 2万+
本文系原创系列，转载请注明。 原帖地址：http://blog.csdn.net/xeseo 前言 在前面Storm系列之——基本概念一文中，提到过Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍。 Kafka的基本介绍：http://blog.csdn
storm kafka集成
xgs
02-11 1462
前言 在前面Storm系列之——基本概念一文中，提到过Storm的Spout应该是源源不断的取数据，不能间断。那么，很显然，消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。本文就如何集成Kafka进行介绍。 Kafka的基本介绍： http://blog.csdn.net/xeseo/article/details/18311955 准
Kafka 可靠性思考
行人事，知天命
07-28 1183
Kafka可靠性思考
HDFS HA、YARN HA、Zookeeper、HBase HA、Mysql、Hive、Sqool、Flume-ng、storm、kafka、redis、mongodb、spark安装
zys800228的博客
03-14 2419
大数据部署
新版flume+kafka+storm安装部署
踏云追月
08-27 4986
去年写了篇flume+kafka+storm的文章，最近重新回顾发现改动挺大的，就重新整理这篇文章。希望能帮上大家。架构图、组件介绍就不重复了，这篇文章重点将如何安装部署。需要源码的请留言。 顺便打个广告： 大数据工作室接活 我们的团队leader是北京某金融公司的大数据负责人，带过hadoop spark impala storm等多个银行项目。 团队成员现就职HP，vmware等企业。
storm-kafka-1.0.3.jar
05-31
Apache Kafka 的 Storm Spouts org.apache.storm/storm-kafka/1.0.3/storm-kafka-1.0.3.jar
storm-kafka-0.9.5.jar
05-31
Apache Kafka 的 Storm Spouts org.apache.storm/storm-kafka/0.9.5/storm-kafka-0.9.5.jar
storm-kafka-1.0.2.jar
05-31
Apache Kafka 的 Storm Spouts org.apache.storm/storm-kafka/1.0.2/storm-kafka-1.0.2.jar
storm-kafka-1.0.0.jar
05-31
Apache Kafka 的 Storm Spouts org.apache.storm/storm-kafka/1.0.0/storm-kafka-1.0.0.jar
storm on yarn 如何支持 storm 0.9.2
caodaoxi的专栏
10-29 1361
storm on yarn的git地址：https://github.com/yahoo/storm-yarn.git
addlog
caodaoxi的专栏
05-19 680
addlog
storm-nimbus-hdfs
caodaoxi的专栏
05-16 654
https://github.com/Frostman/storm-nimbus-hdfs/tree/master/src https://github.com/jerrylam/storm-hdfs
xmemcached
caodaoxi的专栏
05-07 622
http://code.google.com/p/xmemcached/wiki/User_Guide_zh
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值