消费者比对RabbitMQ同步数据的解决方案

1.前言

RabbitMQ数据同步一致性解决方案中，提出了使用方案“MQ+Redis+接口”来保证数据同步的一致性，其关键在于需要对消费者已接收成功数据的唯一标识与redis中的全量唯一标识进行比对，如果存在数据丢失，需要采用接口的方式进行丢失数据补偿。
本文提供两个进行数据比对的解决方案。

2.方案一

生产者定时或实时推送数据至MQ，消费者消费数据，然后通过定时任务比对是否有丢失的数据，有则调用生产者提供的接口实时同步丢失数据。
优点：
实现简单。
缺点：
比对数据通过定时任务实现，需要依赖调度系统，系统耦合性高；
比对数据操作需要延迟一段时间以确保数据已经消费完毕；
比对数据延迟时间较长，不能解决实时性要求高的场景，且存在比对数据时数据未同步完成或未消费完成风险，造成数据比对不准确。
基于以上几点，现提出优化改进方案二。

3.方案二

生产者把本批次数据推送完成后，在redis唯一标识队列中存入-1，表示数据已推送完成；
消费者每消费一条数据，检查redis唯一标识队列是否存在-1，存在则再检查MQ队列中消息是否全部消费，若已全部消费则执行数据比对逻辑，否则不进行比对。
数据比对前置条件：
生产者数据推送完成（在对应的redis标识队列中添加-1标志）；
消费者数据消费完成（mq队列消息数量