kafka副本调整及分区数据迁移

topic分区数据转移

• 往往在生产系统中，涉及到kafka broker的扩容和缩容操作（减少broker）
• 针对缩容操作，这里主要用到的就是partition的重分区

实施方案

• 1.准备 topic列表 （需要移除的topic list）
  eg: topics_to_move.json

{"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1}

kafka bin目录下，执行

sh kafka-reassign-partitions.sh --topics-to-move-json-file topics_to_move.json --broker-list "1,2,3,4,5"  --zookeeper s2-hadoop-kafka-prod-01:2181,s2-hadoop-kafka-prod-02:2181,s2-hadoop-kafka-prod-03:2181,s2-hadoop-kafka-prod-04:2181,s2-hadoop-kafka-prod-05:2181 --generate

• 参数说明：
• （1）–topics-to-move-json-file： 即为上述需要处理的topic的列表json文件所在位置
• （2）–broker-list： 目标broker 数组，（排除掉需要移除的broker机器）
• （