分区副本重分配、数据迁移、副本扩缩容

本文详细介绍了如何使用kafka-reassign-partitions.sh脚本进行分区副本的重分配、数据迁移、副本的扩缩容操作。包括生成推荐配置、执行JSON文件、验证过程等步骤,并探讨了副本跨路径迁移的限制和解决方案。同时,文中提到Kafka并未提供直接的副本扩缩脚本,需要通过分区重分配实现。此外,还讨论了分区扩容和分区迁移的方法。
摘要由CSDN通过智能技术生成

温馨提示: (如果觉得排版不是很方便看,可以点击下面链接访问 )

【kafka运维】kafka-reassign-partitions.sh分区副本重分配、数据迁移、副本扩缩容

1. 脚本的使用介绍

>该脚本是kafka提供用来重新分配分区的脚本工具;

1.1 生成推荐配置脚本

关键参数--generate

在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件;

编写move-json-file.json 文件; 这个文件就是告知想对哪些Topic进行重新分配的计算

然后执行下面的脚本,--broker-list "0,1,2,3" 这个参数是你想要分配的Brokers;

执行完毕之后会打印

 

需要注意的是,此时分区移动尚未开始,它只是告诉你当前的分配和建议。保存当前分配,以防你想要回滚它

1.2. 执行Json文件

关键参数--execute

将上面得到期望的重新分配方式文件保存在一个json文件里面

reassignment-json-file.json

然后执行</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值