文章目录
日常运维
问题排查
怎么能够少了滴滴开源的
滴滴开源LogiKM一站式Kafka监控与管控平台
【kakfa实战】分区重分配经常出现的问题及解决方案
这篇文章源自于,一位群友的问题,然后就写下了这篇文章
进群加V :jjdlmn_
先定义一下名词: 迁移前的Broker: OriginBroker 、 迁移后的副本 TargetBroker
前提
在这之前如果你比较了解 分区重分配的原理 的话,下面的可能更好理解;
推荐你阅读一下下面几篇文章(如果你点不进去说明我还没有发布)
【kafka源码】ReassignPartitionsCommand源码分析(副本扩缩、数据迁移、副本重分配、副本跨路径迁移)
【kafka运维】副本扩缩容、数据迁移、副本重分配、副本跨路径迁移
Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
如果你不想费那个精力,那直接看下面我画的这张图,你自己也能分析出来可能出现的问题;以及怎么排查
所有异常情况
1. TargetBroker若不在线,迁移脚本执行会失败
TargetBroker若不在线
, 在开始执行任务脚本的时候,校验都不会被通过呢
情景演示
BrokerId
角色
状态
副本
0
普通Broker
正常
test-0
1
普通Broker
宕机
无
现在将分区topic-test-0
从Broker0 迁移到 Broker1
sh bin/kafka-reassign-partitions.sh --zookeeper xxxxxx:2181/kafka3 --reassignment-json-file config/reassignment-json-file.json --execute --throttle 1000000
执行异常
Partitions reassignment failed due to The p