Kafka 数据迁移

当Kafka 减少Broker节点后，需要把数据分区迁移到其他节点上，以下将介绍我的一次迁移验证过程。

前3步为环境准备，实际数据操作看第4步即可

增加Broker节点，也可以采用步骤4相同的方法进行重新分区

方案思想：使用kafka-reassign-partitions命令，把partition重新分配到指定的Broker上

 

1、创建测试topic，具有3个分区，2个副本
 

kafka-topics --create --topic test-topic \
--zookeeper cdh-002/kafka \
--replication-factor 2 --partitions 3

2、查看test-topic

3、产生若干条数据

kafka-console-producer --topic test-topic \
--broker-list cdh-004:9092

4、kafka-reassign-partitions重分区(假设需要减少节点broker 75，本测试通过关闭对