MQ线上平滑迁移方案

一、迁移的问题点：

1.多生产者/多消费者切换排期跨度较大

场景一: 多个生产者/一个消费者, 如何保证多个生产者不同排期切换平滑稳定过渡, 不漏消费/不重复消费

场景二: 一个生产者/多个消费者, 如何保证多个消费者不同排期切换平滑稳定过渡, 不漏消费/不重复消费

2.消费端消费不幂等, 不能接受重复发送/消费

场景一: 如果一个生产者/多个消费者这种场景, 消费者切换排期不一致.

3、广播模式的消费如何保证不漏消费/重复消费

4、迁移过程中需要增量上线的MQ消息如何处理

二、生产迁移顺序

1、针对迁移过程中需要增量上线的消息：走老集群上线后续迁移。

三、迁移方案分析：

方案一 : 生产者和消费者同时上线切换

迁移步骤：

1、生产者和消费者同时完成改造。通过测试验收、

2、生产者先迁移到新集群，验证生产者消息无误，

3、迁移消费者到新集群。

适用场景:

1.消费者或生产者规模较小, 可以快速切换。

2.消费者或生产者可以保证同时切换。

3.消费者能够接受一定的的消息时延。

方案二：生产者双写

1.生产者上线, 新老集群都发送

2.所有消费者开始按各自排期迁移到新集群

3.生产者切换为单写(切换开关&去除老集群代码)

适用场景：

1、单一生产者/多个消费者

2、消费者无法统一排期

3、消费者能支持保证幂等

方案三：消费者双读

1、 消费者全部先上线, 两边都消费

 

2、生产者直接切换

3、消费者切换到新集群(切换开关&去除老集群代码)

 

适用场景：

1、单一生产者/多个消费者或者多个生产者/单一消费者

2、消费端不用保证幂等, 因为同一条消息生产者只会发送一次, 且都会被消费

3、排期相对比较宽松，迁移时间会比较长

方案四：灰度上线

1、生产者、消费者灰度上线部分实例连接新集群

 

2、逐步加大新集群的消息量，持续观察、

3、确保新集群没有问题后，生产者和消费者全部上线新的集群

 

适用场景：

当生产者和消费者的排期一致时，选用灰度方案，更加稳妥，更加确保新老集群切换的平稳过度。降级迁移风险。