topic分区数据转移
- 往往在生产系统中,涉及到kafka broker的扩容和缩容操作(减少broker)
- 针对缩容操作,这里主要用到的就是partition的重分区
实施方案
- 1.准备 topic列表 (需要移除的topic list)
eg: topics_to_move.json
{"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1}
kafka bin目录下,执行
sh kafka-reassign-partitions.sh --topics-to-move-json-file topics_to_move.json --broker-list "1,2,3,4,5" --zookeeper s2-hadoop-kafka-prod-01:2181,s2-hadoop-kafka-prod-02:2181,s2-hadoop-kafka-prod-03:2181,s2-hadoop-kafka-prod-04:2181,s2-hadoop-kafka-prod-05:2181 --generate
- 参数说明:
- (1)–topics-to-move-json-file: 即为上述需要处理的topic的列表json文件所在位置
- (2)–broker-list: 目标broker 数组,(排除掉需要移除的broker机器)
- (