kafka分区消费offset策略

文章讨论了在一个T1主题下,如何管理三个分区p1、p2和p3,以及两个消费者组C1和C2的消费实例。每个分区对应一个消费者组的offset队列,ack机制确保消息顺序。增加分区不均衡现有数据,新消费者组设置为earliest可消费历史消息。建议全面ack以处理异常入库。
摘要由CSDN通过智能技术生成

T1主题下三分区p1,p2,p3。

两消费者组C1,C2。C1,C2下各有三消费实例c11,c12,c13;c21,c22,c23;

消费平均发送给p1,p2,p3。每个p为每个消费者组设置一个p的offset队列如123456,当c11消费1,ack 1之后会来到2。
没ack则在1,但是c11会继续向前消费,若2消费且ack之后,则p1的offset则在2位置了。按照主题下分区下消费者组唯一区分一个offset队列,ack会被这一消费者组共享。 当消费者组的实例减少以后,会让实例平衡分区。一个分区对一个消费者组,只有一条线。但是不同消费者组会复制消费。

增加分区不会平衡原来分区的数据。

新增消费者组,设置为earliest会消费这个主题的全部历史消息。

故建议全部ack,出异常的入库。
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值