关于Kafka分区leader迁移的感想

本文探讨了Kafka中Topic的leader.replication.throttled.replicas和follower.replication.throttled.replicas非空的情况,指出这通常发生在分区副本重分配并限流时。解决方法包括等待分配完成或手动通过kafka-config.sh删除限流配置。同时提到了相关源码解析和Kafka动态配置的使用教程。
摘要由CSDN通过智能技术生成

🦌 提问:

 

kafka的Topic的Configs:leader.replication.throttled.replicas 与follower.replication.throttled.replicas不为空是什么原因造成的,应该如何进行解决?如果在zk中进行操作如何进行设置呢?

1. 这个动态配置的意思是 leader副本和follower副本直接的限流关系 比如图片展示的这种

2. 出现这个配置一般原因是 你在做分区副本重分配的时候执行了限流操作 --throttle 一般出现这两个配置的同时还会伴随着 另外两个配置 leader.replication.throttled.rate follower.replication.throttled.rate

3. 解决方案: 想要去掉这个限流,只需要等待 分区副本重分配执行完毕之后 再次执行一下 --verify 就会把限流值给自动去掉了

4. 假设你的迁移任务已经结束,你忘记了 --verify,那么这个限流会一直存在,并且如果你的 迁移 json文件也找不到了,那么你可以手动通过 修改动态配置来手动移除,具体操作如下:

①. 通过kafka-config.sh 查找到 对应的限流信息相关信息 下面的动态配置在 zk节点 /config/brokers/{BrokerId}

leader.replication.throttled.rate

follower.replication.throttled.rate

②下面的动态配置在 zk节点/config/topics/{topicName}

leader.replication.throt

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值