kafka消费者重复消费同一个topic

我的需求是我有多个消费者,需要重复消费某一个topic。
场景是sparkstreaming消费kafka数据
在这里sparkstream和kafka都是单节点的集群模式。
同时起两个不同的groupid的应用,发现会发生后起来的应用消费不到数据。
按理来讲不同的groupid属于不同的消费组,不会相互影响。由于是使用的cdh集成的kafka,不知道cdh里的zookeeper管理kafka的数据存在了什么地方,也无从考证kafka消费者的相关信息。
于是修改了创建topic的语句。
之前创建topic的时候都是一份备份,一个分区。
现改成了三个备份三个分区。
结果就能够满足我的需求了,多个应用程序可以重复消费同一个topic了。
这个需要我后面要就下,zookeeper管理kafka 的数据存到了什么地方,已经创建了三个备份三个分区之后,每个分区里的数据是不是一样才使得其能够满足多个应用。
还有个问题就是在其他的机器上,同样是单节点的集群环境,topic及时只是单个备份,指定一个分区对应用不会产生影响,这个现象还有待后续再研究一下。

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 8
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值