如何保证MQ消息队列的幂等性

对于每个消息，都有一个offset，用来代表这条消息的序号，消费者消费了消息之后每隔一段时间都会把自己所消费的消息的offset提交一下，下次消费的时候就按上次的offset接着来。
这样就会出现一个问题，如果消费者已经消费了一条消息，在提交之前，消费者进程被重启了或者发生意外宕机了，这样的话，当消费者再次启动之后，它还会重复消费这条消息，如果消费者对消息的处理是在数据库中插入一条记录，那么这样的话就会重复插入两个一样的记录，显然是不正确的。
那么我们要怎样保证幂等性呢？假如消费者在消费消息的时候会往数据库中插入一条记录，那么我们只要每次插入记录的时候判断一下这个记录在表中是否存在不就可以保证幂等性了吗
按照这一思路，我们有以下几种方法保证幂等性

• 插入时查询一次

在每次插入数据的时候，查询表中该数据是否存在，如果存在我们就不用插入了，在并发不高的时候我们可以使用这个方法

• 添加唯一约束

如果数据库没有分库分表，我们可以在可能会发生重复的字段上添加唯一约束（UNIQUE），这样就不会出现重复的记录了

• 建立消息记录表

新建一张消息记录表，用来存放每次消费的记录，并且在字段上加上唯一约束（UNIQUE），我们在每次消费的时候就往这张表中添加一条记录，用来记录所消费的消息，这样如果重复消费的话MySQL就会报错

• 使用Redis

如果数据库是分布式的，并且做了分库分表，那么我们可以使用Redis来记录，把每个消费的消息的id存入Redis，这样重复消费的时候，Redis中已经有了就不能消费

• 使用锁

如果系统处在高并发下，我们可以使用 Redis或者zookeeper的分布式对消息 id加锁，然后使用上面几种方法来控制幂等性