消费者比对RabbitMQ同步数据的解决方案

1.前言

RabbitMQ数据同步一致性解决方案中，提出了使用方案“MQ+Redis+接口”来保证数据同步的一致性，其关键在于需要对消费者已接收成功数据的唯一标识与redis中的全量唯一标识进行比对，如果存在数据丢失，需要采用接口的方式进行丢失数据补偿。
本文提供两个进行数据比对的解决方案。

2.方案一

生产者定时或实时推送数据至MQ，消费者消费数据，然后通过定时任务比对是否有丢失的数据，有则调用生产者提供的接口实时同步丢失数据。
优点：
实现简单。
缺点：
比对数据通过定时任务实现，需要依赖调度系统，系统耦合性高；
比对数据操作需要延迟一段时间以确保数据已经消费完毕；
比对数据延迟时间较长，不能解决实时性要求高的场景，且存在比对数据时数据未同步完成或未消费完成风险，造成数据比对不准确。
基于以上几点，现提出优化改进方案二。

3.方案二

生产者把本批次数据推送完成后，在redis唯一标识队列中存入-1，表示数据已推送完成；
消费者每消费一条数据，检查redis唯一标识队列是否存在-1，存在则再检查MQ队列中消息是否全部消费，若已全部消费则执行数据比对逻辑，否则不进行比对。
数据比对前置条件：
生产者数据推送完成（在对应的redis标识队列中添加-1标志）；
消费者数据消费完成（mq队列消息数量为0）；
简单实现如下：

import java.util.Properties;
import java.util.concurrent.TimeUnit;

import org.springframework.amqp.rabbit.core.RabbitAdmin;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.stereotype.Component;

import lombok.extern.slf4j.Slf4j;

/**
 * 消息比对
 * @author wxyh
 * @date 2018/08/31
 */
@Slf4j
@Component
public class MessageComparison {

    @Autowired
    private RabbitAdmin rabbitAdmin;
    @Autowired
    private RedisTemplate<String, Object> redisTemplate;
    @Autowired
    private ThreadPoolTaskExecutor asyncExecutor;

    /**
     * 比对消息
     * @param queueName 消息队列名称
     * @param redisKey 存放唯一标识的key
     */
    public void compareMessage(String queueName, String redisKey) {
        if (!hasConsumeOver(queueName, redisKey)) {
            // 数据未推送完成或消费完成，不做任何操作
            return;
        }

        String setNXKey = "myNXKey";
        if (redisTemplate.opsForValue().setIfAbsent(setNXKey, 1)) {
            // 确保只有一个消费者执行下述操作
            redisTemplate.expire(setNXKey, 1, TimeUnit.MINUTES);
            // 异步执行数据比对，统计生产制单已回货数据
            asyncExecutor.execute(() -> {
                // 先暂停10s，等待消息处理完毕
                try {
                    Thread.sleep(10000);
                }
                catch (InterruptedException e) {
                    log.info("Interrupted!");
                }

                // 异步统计并更新生产制单已回货数据
                doCompareMessage();
            });
        }
    }

    /**
     * 执行比对消息操作
     */
    private void doCompareMessage() {
        // TODO 消息比对逻辑

    }

    /**
     * 消息是否已经消费完成
     * @param queueName 消息队列名称
     * @param redisKey 存放唯一标识的key
     * @return true：完成，false：未推送完成或未消费完成
     */
    private boolean hasConsumeOver(String queueName, String redisKey) {
        if (redisTemplate.opsForSet().isMember(redisKey, -1)) {
            // 数据推送完成，检查是否消费完成
            Properties props = rabbitAdmin.getQueueProperties(queueName);
            Integer messageCount = (Integer) props.getOrDefault(RabbitAdmin.QUEUE_MESSAGE_COUNT, -1);
            if (messageCount.intValue() == 0) {
                // 消息已经被消费完了，可以进行比对等后续操作了
                return true;
            }
        }
        return false;
    }

}