如何避免重复消费消息

卡布奇诺-海晨

已于 2023-08-31 11:42:53 修改

阅读量695

点赞数 1

分类专栏： SpringCloud 文章标签： spring boot spring cloud

于 2023-08-31 11:39:15 首次发布

本文链接：https://blog.csdn.net/qq_57756904/article/details/132599812

版权

SpringCloud 专栏收录该内容

42 篇文章 82 订阅

订阅专栏

博主介绍：✌全网粉丝3W+，全栈开发工程师，从事多年软件开发，在大厂呆过。持有软件中级、六级等证书。可提供微服务项目搭建与毕业项目实战，博主也曾写过优秀论文，查重率极低，在这方面有丰富的经验✌

博主作品：《Java项目案例》主要基于SpringBoot+MyBatis/MyBatis-plus+MySQL+Vue等前后端分离项目，可以在左边的分类专栏找到更多项目。《Uniapp项目案例》有几个有uniapp教程，企业实战开发。《微服务实战》专栏是本人的实战经验总结，《Spring家族及微服务系列》专注Spring、SpringMVC、SpringBoot、SpringCloud系列、Nacos等源码解读、热门面试题、架构设计等。除此之外还有不少文章等你来细细品味，更多惊喜等着你哦

🍅开源项目免费哦(有vue2与vue3版本)：点击这里克隆或者下载 🍅

🍅文末获取联系🍅精彩专栏推荐订阅👇🏻👇🏻 不然下次找不到哟

Java项目案例《100套》

https://blog.csdn.net/qq_57756904/category_12173599.html

uniapp小程序《100套》
https://blog.csdn.net/qq_57756904/category_12199600.html

常见方法

消息中间件通常采用一些策略来避免消息的重复消费。这在分布式系统中非常重要，以确保消息被处理一次且仅一次，避免产生错误或重复的结果。以下是一些常见的方法：

消息确认机制：消费者在处理完一条消息后，向消息中间件发送确认消息。如果消息中间件收到确认，就会将该消息标记为已消费，如果没有收到确认，就会将消息重新发送给其他消费者。这确保了消息只有在确认后才会被标记为已处理。

消息去重：消息中间件可以在存储消息之前对消息内容进行去重操作，以确保相同内容的消息只被投递一次。

消费者端去重：消费者可以在自己的业务逻辑中实现去重操作。比如，记录已处理的消息 ID 或唯一标识符，以避免处理相同的消息。

幂等性处理：消费者可以设计其处理逻辑，使得多次处理相同的消息不会产生不一致的结果。这需要确保相同的操作可以多次执行，而不会引起问题。例如，数据库插入操作可以使用主键冲突处理，确保不会重复插入相同记录。

消息超时机制：如果消息在一定时间内没有得到确认，消息中间件可以将其重新发送给其他消费者，以确保消息不会永远挂起在未确认状态。

分布式事务：在一些情况下，消息消费可能需要和其他操作一起构成一个分布式事务。消息中间件可以与其他数据存储或操作协同工作，以保证消息和其他操作的一致性。

消息顺序保证：有些消息中间件支持保证消息按照特定的顺序传递给消费者，这有助于避免由于消息乱序而导致的重复消费问题。

不同的消息中间件提供不同的机制来处理消息的重复消费问题，开发者在选择和使用消息中间件时需要考虑这些因素，并根据实际需求来实现避免重复消费的策略。

RocketMQ

Apache RocketMQ 是一个开源的分布式消息中间件，它提供了一些机制来避免重复消费消息。以下是 RocketMQ 如何避免重复消费消息的一些方法：

消息消费状态追踪：RocketMQ 提供了消费者的消息消费状态追踪功能。消费者可以定期向消息中间件发送消费进度信息，包括已成功消费的消息的偏移量。当消费者重启或者发生故障时，RocketMQ 可以根据消费者提交的消费进度信息，将尚未消费的消息重新传递给消费者。

消费者组：RocketMQ 允许多个消费者以相同的消费者组名字订阅同一个主题。这些消费者会形成一个消费者组，消息会被分发给组内的每个消费者。当组内某个消费者成功消费了一条消息后，消息将被标记为已消费，其他组内的消费者将不会再收到该消息。这样可以确保在同一个消费者组内不会出现重复消费。

消费者幂等性设计：开发者可以设计消费者的业务逻辑，使得即使接收到相同的消息多次，也不会产生重复的影响。这需要在业务逻辑中考虑幂等性，确保多次处理相同消息不会产生错误或重复的结果。

消费者端去重：类似于其他消息中间件，RocketMQ 的消费者也可以在消费者端实现去重操作，比如记录已处理的消息 ID 或唯一标识符，以避免处理相同的消息。

消息的唯一标识符：为每条消息生成一个唯一的标识符，并在消费者端使用这个标识符来判断是否重复消费。这要求生产者在发送消息时，附加一个唯一标识符。

需要注意的是，尽管 RocketMQ 提供了这些机制来避免重复消费，但开发者在设计和实现消费者时，仍然需要注意保证幂等性和正确处理可能的重复消息情况。

RabbitMQ

RabbitMQ 是另一个常用的开源消息中间件，它也提供了一些方法来避免重复消费消息。以下是 RabbitMQ 如何处理避免重复消费消息的一些方式：

消息确认机制：RabbitMQ 支持消息确认机制，消费者在处理完一条消息后，向 RabbitMQ 发送确认消息。如果消息处理成功，RabbitMQ 将会将该消息标记为已消费，如果没有收到确认，RabbitMQ 可能会将消息重新发送给其他消费者。

消息去重：在消息的发布者端，可以设置消息的唯一标识符，并在消费者端维护已处理的消息标识符。这样消费者在处理消息前，先检查该消息的标识符是否已经处理过，避免重复消费。

消费者幂等性设计：类似于其他消息中间件，RabbitMQ 的消费者也可以设计业务逻辑，使得多次处理相同的消息不会引起错误或重复的结果。

消息的唯一标识符：为每条消息生成一个唯一的标识符，消费者在处理消息时，可以使用这个标识符来判断是否已经处理过该消息。

消费者端的定时确认：消费者可以在处理完消息后，通过一段时间内定时确认的方式，来确保消息已经被正确处理。如果在确认之前消费者发生了故障，消息会被重新发送给其他消费者。

消息过期机制：RabbitMQ 支持设置消息的过期时间，如果一条消息在一定时间内没有被消费者处理，就会被标记为过期，不会再被发送给消费者。

无论选择哪种方法，都需要开发者在设计消费者时考虑到可能的重复消息问题，并实现相应的逻辑来确保消息被处理一次且仅一次。

Kafka

Apache Kafka 是另一种流行的分布式消息中间件，它也提供了一些方法来避免重复消费消息。以下是 Kafka 如何处理避免重复消费消息的一些策略：

消费者偏移量（Consumer Offset）管理：Kafka 使用偏移量来标识每个消费者所消费的消息位置。消费者可以将已处理的消息的偏移量保存在外部存储中（如数据库或文件），以便在重启后能够从正确的位置开始消费。这确保了消费者能够继续从上次处理的位置继续消费消息，避免了重复消费。

消费者组管理：Kafka 允许多个消费者以相同的消费者组名字订阅同一个主题。同一个消费者组内的消费者共同消费消息，并且每条消息只会被组内的一个消费者处理。这样可以避免同一消息被多次消费。

幂等性处理：消费者可以设计其处理逻辑，使得多次处理相同的消息不会产生不一致的结果。这需要确保相同的操作可以多次执行，而不会引起问题。例如，数据库插入操作可以使用主键冲突处理，确保不会重复插入相同记录。

消息超时机制：Kafka 提供了消息超时的机制，如果一个消费者在一定时间内没有确认消费消息，Kafka 将会将该消息重新发送给其他消费者。

消费者心跳和会话超时：消费者定期发送心跳给 Kafka 服务器，以表明自己还在活动状态。如果消费者崩溃或无法发送心跳，Kafka 服务器会认为该消费者不再活动，并将其所持有的分区重新分配给其他消费者。这有助于避免消费者长时间无响应而导致重复消费。

幂等生产者：在消息的生产端，可以使用幂等生产者来确保消息不会重复发送。Kafka 的幂等生产者会在发送消息时为消息分配一个唯一的序列号，并在发送失败后自动重试，确保消息只会被发送一次。

使用这些方法，开发者可以在 Kafka 中实现避免重复消费消息的策略，确保消息被处理一次且仅一次。