kafka扩容数据自动重分配脚本

最新推荐文章于 2023-07-04 15:35:39 发布

知秋ing

最新推荐文章于 2023-07-04 15:35:39 发布

阅读量716

点赞数

分类专栏： kafka从入门到精通文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/weixin_42566359/article/details/127053680

版权

kafka从入门到精通专栏收录该内容

6 篇文章 0 订阅

订阅专栏

本文章记录使用kafka-reassign-partitions.sh脚本来重新分配节点分区。kafka节点扩容后，已经存在的旧的topic的分区是不会伴随节点的增加而变动的，所以需要我们手动的去调整分区。下面提供了一套脚本，可以实现自动化重分区，欢迎大家斧正：

脚本目录和文件目录要注意，这是我的集群的目录，大家可以根据自己的目录进行调整

主脚本：
需要传两个参数

$1：zookeeper链接地址

$2：brokerid的列表

atuoReassign.sh：

#!/bin/bash

zkServer=$1
brokerIdList=$2
if [ -z "$zkServer" ]
then
  echo "zkServer can not be empty"
  exit 1
else
  echo "zkServer:"$zkServer
fi
if [ -z "$brokerIdList" ]
then
  echo "brokerIdList can not be empty"
  exit 2
else
  echo "brokerIdList:" $brokerIdList
fi
echo "###########################start generate##############################"
sh /var/lib/kafka/autoAssign.sh $zkServer
echo "###########################end generate##############################"
echo "###########################start execute##############################"
sh /var/lib/kafka/autoRebalance.sh $zkServer $brokerIdList
echo "###########################end execute##############################"
echo "###########################delete generate json##############################"
rm -rf  /opt/kafka/bin/topicMove.json
rm -rf  /opt/kafka/bin/ressgintopic.json
echo "###########################end ressgin##############################"

autoAssign.sh：

#!/bin/bash

zkServer=$1
topicArr=`sh /opt/kafka/bin/kafka-topics.sh  --zookeeper $zkServer --list`
topictext=''
symbol='"'
for topic in ${topicArr[@]}
do
  topictext=$topictext','{$symbol'topic'$symbol:$symbol$topic$symbol}
done
assigntext='{"topics":['${topictext:1}'],"version":1}'
echo $assigntext >/opt/kafka/bin/topicMove.json

autoRebalance.sh：

#!/bin/bash

source /etc/profile

zkServer=$1
brokerIdList=$2
content=`sh /opt/kafka/bin/kafka-reassign-partitions.sh --zookeeper $zkServer --topics-to-move-json-file /opt/kafka/bin/topicMove.json --broker-list $brokerIdList --generate`
content=`echo $content | awk -F 'Proposed partition reassignment configuration' '{print $2}'`
echo $content
echo $content > /opt/kafka/bin/ressgintopic.json
sh /opt/kafka/bin/kafka-reassign-partitions.sh --zookeeper $zkServer$clusterName --reassignment-json-file /opt/kafka/bin/ressgintopic.json --execute