kafka运维--集群扩容后手动Rebalance topic

最新推荐文章于 2024-07-25 20:40:28 发布

RangeYan2012

最新推荐文章于 2024-07-25 20:40:28 发布

阅读量5.3k

点赞数

分类专栏：原创 Kafka 大数据系统运维笔记大数据环境搭建运维

本文链接：https://blog.csdn.net/yanshu2012/article/details/53219574

版权

本文档详细介绍了如何在Kafka集群扩容后进行手动Topic Rebalance操作，包括配置需要Rebalance的topic列表，设置Zookeeper的IP和端口来初始化topic rebalance，以及查询Rebalance进度的方法。

摘要由CSDN通过智能技术生成

1.配置好需要Rebalance 的topic 列表

topicmove.conf

{"topics": [{"topic": "topic1"},
             {"topic": "topic2"}],
 "version":1
}

2. 配置好zookeper ip和端口，topic被分配的brokerid 列表，执行下面脚本完成topic rebalance 初始化，然后topic自动扩容

startRebalance.sh

#!/bin/bash
zkServer="zkhost:2181"
brokerIdList=0,1,2,3,4


echo "zkConf:"  $zkServer
echo "brokerList:" $brokerIdList
echo "###########################start generate reblance conf##############################"
content=`bash kafka-reassign-partitions.sh --zookeeper $zkServer --topics-to-move-json-file topicmove.conf  --broker-list $brokerIdList --generate`
content=`echo $content | awk -F 'Proposed partition reassignment configuration' '{print $2}'`