背景
目前线上环境有200套kafka集群,且kafka的版本有0.10、2.0等版本。需要在不影响业务的情况下迁移到kafka2.5版本。
方案
结合目前Kafka集群的现状建议采用两个集群数据同步的方式进行迁移,采用数据同步的方式迁移可以不影响Kafka的业务使用方,同时可以使用zookeeper的新版本。具体Kafka迁移方案如下:
迁移步骤如下:
Ø 在部署了Kafka2.5版本的集群上初始化客户原有Kafka2.0集群的数据,包含用户、权限、topic等数据。
Ø 从Kafka2.0的集群上同步各个topic数据至Kafka2.5的集群,直至两个集群的数据完全一致。在进行数据同步的过程要保证两个集群的offset保持一致。
Ø 修改Kafka生产者的IP、端口为部署了Kafka2.5版本的集群。
Ø 修改Kafka消费者的IP、端口为部署了Kafka2.5版本的集群。
Ø 停止两个集群间的数据同步,同时删除Kafka2.0集群的各个节点并进行资源回收。
欢迎大家指出这种方案的优劣势
国内最大最权威的 Kafka中文社区 ,在这里你可以结交各大互联网Kafka大佬以及近2000+Kafka爱好者,一起实现知识共享,实时掌控最新行业资讯,免费加入中~