kafka在线扩容

在执行分区重分配的过程中，对集群的影响主要有两点：

1. 分区重分配主要是对主题数据进行 Broker 间的迁移，因此会占用集群的带宽资源；
2. 分区重分配会改变分区 Leader 所在的 Broker，因此会影响客户端。

1.利用kafka提供的扩容，可以分topic一个一个进行

特点：

• kafka不会对新增的broker进行分区重平衡
• leader不发生变更的时候，不影响消息的生产和消费
• 扩容期间集群内部会有大量数据迁移拷贝

步骤：

1. 生成需要执行分区重分配的主题列表 json 文件
2. 生成主题的分配方案
3. 将分配方案保存到一个 json 文件中
4. 执行分区重分配
5. 验证分区重分配是否执行成功

kafka分区重分配执行过程（如果数据量大，持续时间会比较长）：

1.生成新的副本，从leader同步数据。新旧副本此时会同时存在
2.新的副本同步完成追上leader，新副本加入到ISR中
3.此时leader是否为Preferred Leader，如果不是则进行leader选举
4.新副本都在ISR了，删除旧副本

2.手动扩容

1）手动生成分配方案，对原有的分区 Leader 位置不改变，只对副本进行分区重分配；
2）等待数据迁移完成后，再手动更改分区分配方案，目的是均衡 Leader。

参考：
https://www.cnblogs.com/objcoding/p/12070055.html