工作纪实_30-MQ消费redis延时处理合并消息

背景

公司的上游数据，通过MQ给我们做数据同步，但是消息存在各个业务节点，且短时间内可能发送多次，并且我们收到消息反查上游服务时，他们的业务数据存在一定延时，这就导致收到的消息，可能在一定时间内(3s)，会反复接收到他们的消息，我们之前的业务是接一次处理一次，现在要优化一下，让子弹飞一会，再来干活！

解决方案

消费方，收到消息以后，做消息的暂存处理，并对重复数据进行去重，过了3s后再拿出来消费

技术选型

1.java提供的线程安全队列
2.使用guava的延时发布、订阅
3.使用mq做延时消费
4.使用redis的zset【我选择的】

我们是分布式的服务，选择内存级别的处理，或多或少存在服务崩溃导致数据丢失的问题，但是使用redis则不会，数据依旧存在，风险是最小的。延时MQ方案则存在消息套娃，不考虑！

实现方式

@Slf4j
@Component
public class MessageMergeManage {

    private Logger cmdSyncLogger = LoggerFactory.getLogger("sale_cmd_sync_logger");

    private static String SYMBOL = "___";

    public static final int DELAY_SECONDS = 5;

    @Autowired
    private StringRedisTemplate redisTemplate;
    @Autowired
    private SaleCarDataTransferService saleCarDataTransferService;

    public void inQueue(String key, String tag, Long carId) {
        ZSetOperations zSetOperations = redisTemplate.opsForZSet();
        zSetOperations.add(key, String.format("%s%s%s", tag, SYMBOL, carId), DELAY_SECONDS * 1000 + new Date().getTime());
    }

    /**
     * 延迟消费
     */
    public void delayConsume(String key, Consumer<Long> consumer) throws InterruptedException {
        long nowTime = System.currentTimeMillis();
        ZSetOperations zSetOperations = redisTemplate.opsForZSet();
        Set<String> messages = zSetOperations.rangeByScore(key, 0, nowTime, 0, 100);
        if (ObjectUtils.isEmpty(messages)) {
            cmdSyncLogger.info("MQ事件迁移->redis延迟消费,无数据");
            TimeUnit.SECONDS.sleep(DELAY_SECONDS);
            return;
        }
        HashSet<Long> carIds = new HashSet<>();
        Map<Long, String> carMsgMap = new HashMap<>();
        for (String msg : messages) {
            String[] split = msg.split(SYMBOL);
            Long carId = Long.valueOf(split[1]);
            carIds.add(carId);
            carMsgMap.put(carId, msg);
        }
        for (Long carId : carIds) {
            consumer.accept(carId);
            boolean exist = existCarNewMsg(nowTime, key, carId);
            log.info("MQ事件迁移->判断近期是否有新消息:{}|{}|{}", carId, exist, DateUtils.format(new Date(nowTime), DateUtils.DATE_FORMAT_FULL_MS_STRING));
            if (!exist) {
                zSetOperations.remove(key, carMsgMap.get(carId));
                cmdSyncLogger.info("MQ事件迁移->redis延迟消费,消费成功,carId = {}", carId);
            }
        }
        Set set = zSetOperations.rangeByScore(key, 0, nowTime, 0, 100);
        cmdSyncLogger.info("MQ事件迁移->redis延迟消费,剩余carId消费:{}", set);
    }

    /**
     * 判断近三秒内是否有最新的carId消息
     */
    public boolean existCarNewMsg(long nowTime, String key, Long curCarId) {
        ZSetOperations zSetOperations = redisTemplate.opsForZSet();
        Set<String> set = zSetOperations.rangeByScore(key, nowTime - DELAY_SECONDS * 1000, nowTime, 0, 100);
        if (CollectionUtils.isEmpty(set)) {
            return false;
        }
        for (String msg : set) {
            String[] split = msg.split(SYMBOL);
            Long carId = Long.valueOf(split[1]);
            if (Objects.equals(curCarId, carId)) {
                return true;
            }
        }
        return false;
    }
}