mq消费幂等总结

mq消费幂等总结

针对mq新增场景：

1）首先查本地db书否已存在，存在则幂等

2）加redis乐观锁，加锁失败重试mq，

3）理论上上边2步可以解决大部分数据重复新增的问题，但是针对并发情况下，乐观锁超时释放的情况，数据库需要加唯一索引（outId, outType）进行兜底

 

针对mq更新场景：

1、单个更新：与新增类似

2、批量更新：

1）每次处理单条主数据，每条失败都会重试全部

2）加redis乐观锁，加锁失败重试mq，

3）针对新增的数据进行db幂等校验，幂等则结束此条数据处理（for 循环 continue）

4）针对更新的数据,通过加数据库version条件进行db更新

5）针对删除的数据进行处理，如果没有要删除的，则结束此条数据处理（for 循环 continue）;

如果有要删除的，则需要进行db操作，一般的做法是变更db的状态为删除状态；

 

 

针对mq删除场景：

1、单个删除：与新增类似

2、批量更新：

1）首先查本地db是否仍存在，不存在则幂等

2）1、不加锁的情况：i.每次更新时因为带了version条件，所以并发情况下可能更新失效，因为已经db数据被删除，耗费一次db操作；

ii.失败的情况下，全量回滚db操作；

2、加锁的情况：1）锁批量消息范围太广，导致锁失效

2）锁单个消息：

i.先校验db的数据状态是否为已删除，删除则跳过；

ii.并发情况下，因为某个处理失败，可能出现mq重试的情况