kafka迁移方案

背景

目前线上环境有200套kafka集群，且kafka的版本有0.10、2.0等版本。需要在不影响业务的情况下迁移到kafka2.5版本。

方案

结合目前Kafka集群的现状建议采用两个集群数据同步的方式进行迁移，采用数据同步的方式迁移可以不影响Kafka的业务使用方，同时可以使用zookeeper的新版本。具体Kafka迁移方案如下：

迁移步骤如下：

Ø 在部署了Kafka2.5版本的集群上初始化客户原有Kafka2.0集群的数据，包含用户、权限、topic等数据。

Ø 从Kafka2.0的集群上同步各个topic数据至Kafka2.5的集群，直至两个集群的数据完全一致。在进行数据同步的过程要保证两个集群的offset保持一致。

Ø 修改Kafka生产者的IP、端口为部署了Kafka2.5版本的集群。

Ø 修改Kafka消费者的IP、端口为部署了Kafka2.5版本的集群。

Ø 停止两个集群间的数据同步，同时删除Kafka2.0集群的各个节点并进行资源回收。

欢迎大家指出这种方案的优劣势

国内最大最权威的 Kafka中文社区 ，在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者，一起实现知识共享，实时掌控最新行业资讯，免费加入中~