分布式消息中间件mq如何去重

1.什么是分布式消息中间件

1.1什么是消息中间件

消息队列是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成

1.2什么是分布式消息中间件mq

分布式mq是指消息中间件不是一台机器来完成消息的传递，而是一个服务器集群来完成这个工作。

2为啥会有重复消息

2.1生产时消息重复

由于生产者发送消息给MQ，在MQ确认的时候出现了网络波动，生产者没有收到确认，实际上MQ已经接收到了消息。这时候生产者就会重新发送一遍这条消息。

2.2消费时重复

消费者消费成功后，再给MQ确认的时候出现了网络波动，MQ没有接收到确认，为了保证消息被消费，MQ就会继续给消费者投递之前的消息。这时候消费者就接收到了两条一样的消息。

3如何解决重复消息的问题

3.1确保消费端只执行一次

一般来说消息重复消费都是在短暂的一瞬间消费多次，我们可以使用 redis 将消费过的消息唯一标识存储起来，然后在消费端业务执行之前判断 redis 中是否已经存在这个标识。
引申问题： redis也是分布式的，怎么保证redis判断不会出现并发问题，例如，两个一模一样的消息发送到了redis集群中，同时被处理，怎么保证还能过滤。
解答：
（1）可以使用redis分布式锁
（2）使用luna脚本，保证操作原子性

3.2 保证消费方幂等性

DB唯一键约束
如果消费端业务是新增操作，我们可以利用数据库的唯一键约束，比如优惠券流水表的优惠券编号，如果重复消费将会插入两条相同的优惠券编号记录，数据库会给我们报错，可以保证数据库数据不会插入两条
乐观锁
如果消费端业务是更新操作，可以给业务表加一个 version 字段，每次更新把 version 作为条件，更新之后 version + 1。由于 MySQL 的 innoDB 是行锁，当其中一个请求成功更新之后，另一个请求才能进来，由于版本号 version 已经变成 2，必定更新的 SQL 语句影响行数为 0，不会影响数据库数据。