kafka动态扩容

kafka动态扩容   ---   https://www.orchome.com/36
                      KafkaManager更直观了解kafka

将服务器添加到Kafka集群非常简单，只需为其分配唯一的 broker ID并在您的新服务器上启动Kafka即可。
但是，这些新的服务器不会自动分配到任何数据分区，除非将分区移动到这些分区，否则直到创建新 topic 时才会提供服务。
所以通常当您将机器添加到群集中时，您会希望将一些现有数据迁移到这些机器上。
迁移数据的过程是手动启动的，但是完全自动化。

分区重新分配工具可用于跨 broker 移动分区。理想的分区分布将确保所有 broker 的数据负载和分区大小比较均衡。
分区重新分配工具不具备自动分析Kafka集群中的数据分布并移动分区以获得均匀负载的功能。因此，管理员必须找出哪些 topic 或分区应该移动。

分区分配工具的3种模式 

--generate: 这个选项命令，是生成分配规则json文件的，生成“候选人”重新分配到指定的topic的所有parition都移动到新的broker。
            此选项，仅提供了一个方便的方式来生成特定的topic和目标broker列表的分区重新分配 “计划”。
            
--execute: 这个选项命令，是执行你用--generate 生成的分配规则json文件的，（用--reassignment-json-file 选项），可以是自定义的分配计划，
          也可以是由管理员或通过--generate选项生成的。
          
--verify: 这个选项命令，是验证执行--execute重新分配后，列出所有分区的状态，状态可以是成功完成，失败或正在进行中的。

---------------
例子：

例如，下面的例子将主题foo1，foo2的所有分区移动到新的broker 5，6。移动结束后，主题foo1和foo2所有的分区都会只会在broker 5，6。

1）执行迁移工具需要接收一个json文件，首先需要你确认topic的迁移计划并创建json文件，如下所示   
                           -----》 分区重新分配工具也可以有选择性将分区副本移动到指定的broker。当用这种方式，假定你已经知道了分区规则，不需要通过工具生成规则，可以跳过--generate，直接使用—execute

    > cat topics-to-move.json
    {"topics": [{"topic": "foo1"},
                {"topic": "foo2"}],
     "version":1
    }

    一旦json准备好，使用分区重新分配工具生成一个“候选人”分配规则 -

    > bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "5,6" --generate 
    Current partition replica assignment

    {"version":1,
     "partitions":[{"topic":"foo1","partition":2,"replicas":[1,2]},
                   {"topic":"foo1","partition":0,"replicas":[3,4]},
                   {"topic":"foo2","partition":2,"replicas":[1,2]},
                   {"topic":"foo2","partition":0,"replicas":[3,4]},
                   {"topic":"foo1","partition":1,"replicas":[2,3]},
                   {"topic":"foo2","partition":1,"replicas":[2,3]}]
    }

    Proposed partition reassignment configuration

    {"version":1,
     "partitions":[{"topic":"foo1","partition":2,"replicas":[5,6]},
                   {"topic":"foo1","partition":0,"replicas":[5,6]},
                   {"topic":"foo2","partition":2,"replicas":[5,6]},
                   {"topic":"foo2","partition":0,"replicas":[5,6]},
                   {"topic":"foo1","partition":1,"replicas":[5,6]},
                   {"topic":"foo2","partition":1,"replicas":[5,6]}]
    }

2）生成从主题foo1，foo2迁移所有的分区到broker 5，6的候选人分配规则。注意，这个时候，迁移还没有开始，它只是告诉你当前分配和新的分配规则，
   当前分配规则用来回滚，新的分配规则保存在json文件（例如，我保存在 expand-cluster-reassignment.json这个文件下）然后，用--execute选项来执行它。

    > bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --execute

    {"version":1,
     "partitions":[{"topic":"foo1","partition":2,"replicas":[1,2]},
                   {"topic":"foo1","partition":0,"replicas":[3,4]},
                   {"topic":"foo2","partition":2,"replicas":[1,2]},
                   {"topic":"foo2","partition":0,"replicas":[3,4]},
                   {"topic":"foo1","partition":1,"replicas":[2,3]},
                   {"topic":"foo2","partition":1,"replicas":[2,3]}]
    }

    {"version":1,
     "partitions":[{"topic":"foo1","partition":2,"replicas":[5,6]},
                   {"topic":"foo1","partition":0,"replicas":[5,6]},
                   {"topic":"foo2","partition":2,"replicas":[5,6]},
                   {"topic":"foo2","partition":0,"replicas":[5,6]},
                   {"topic":"foo1","partition":1,"replicas":[5,6]},
                   {"topic":"foo2","partition":1,"replicas":[5,6]}]
    }

3）最后，--verify 选项用来检查parition重新分配的状态，注意， expand-cluster-reassignment.json（与--execute选项使用的相同）和--verify选项一起使用。

    > bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json --verify
    Status of partition reassignment:
    Reassignment of partition [foo1,0] completed successfully
    Reassignment of partition [foo1,1] is in progress
    Reassignment of partition [foo1,2] is in progress
    Reassignment of partition [foo2,0] completed successfully
    Reassignment of partition [foo2,1] completed successfully 
    Reassignment of partition [foo2,2] completed successfully