介绍一下RocketMQ的工作流程

最新推荐文章于 2024-09-02 22:33:56 发布

棒棒的AI编程

最新推荐文章于 2024-09-02 22:33:56 发布

阅读量410

点赞数 9

分类专栏： Java后端面试 Java面试八股文 RocketMQ 文章标签： rocketmq java 后端面试

本文链接：https://blog.csdn.net/qq_30939943/article/details/141812236

版权

Java后端面试同时被 3 个专栏收录

31 篇文章 0 订阅

订阅专栏

Java面试八股文

31 篇文章 0 订阅

订阅专栏

RocketMQ

13 篇文章 0 订阅

订阅专栏

RocketMQ 是阿里巴巴开源的一款分布式消息中间件，设计用于高吞吐量、低延迟的场景，支持多种消息模式。其工作流程可以分为以下几个关键步骤：消息生产、消息存储、消息消费，以及消息确认与重试等。以下是 RocketMQ 的详细工作流程：

1. 消息生产（Producer）

Producer 是消息的发送者，负责将消息发送到 RocketMQ 的指定 Topic。生产消息的过程包括以下步骤：

Producer 初始化：
- 创建 DefaultMQProducer 实例，并配置 Producer Group 和 NameServer 地址。
- 启动 Producer 实例，准备发送消息。
```
DefaultMQProducer producer = new DefaultMQProducer("ProducerGroup");
producer.setNamesrvAddr("localhost:9876");
producer.start();
```
发送消息：
- Producer 将消息发送到指定的 Topic。发送消息可以是同步、异步或单向的。
- 消息可以指定 Tag 用于分类和过滤。
- 同步发送：等待消息发送结果，适用于需要可靠传输的场景。
- 异步发送：通过回调函数处理发送结果，适用于对实时性要求较高的场景。
- 单向发送：不关心发送结果，适用于无需反馈的场景。
```
Message message = new Message("TopicTest", "TagA", "Hello RocketMQ".getBytes());
SendResult sendResult = producer.send(message);
System.out.printf("Message sent: %s%n", sendResult);
```

2. 消息存储（Broker）

Broker 是 RocketMQ 的核心组件，负责消息的存储、转发和分发。

消息存储：
- 消息发送到 Broker 后，Broker 会将消息持久化存储在磁盘中的 CommitLog 文件中。
- Broker 维护一个 Consumer Queue 来记录消息的偏移量，以便消费者能够按顺序拉取消息。
消息转发：
- 如果 RocketMQ 集群中配置了多个 Broker，消息可以在不同的 Broker 之间复制和同步，以保证高可用性。

3. 消息消费（Consumer）

Consumer 是消息的接收者，从 Broker 中拉取并处理消息。

Consumer 初始化：

创建 DefaultMQPushConsumer 实例，并配置 Consumer Group 和 NameServer 地址。
订阅一个或多个 Topic，并指定过滤 Tag。

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup");
consumer.setNamesrvAddr("localhost:9876");
consumer.subscribe("TopicTest", "*");

消费消息：

Consumer 从 Broker 拉取消息进行处理。RocketMQ 支持推（Push）和拉（Pull）模式，但大多数场景下使用 Push 模式。
Consumer 可以配置为集群模式或广播模式：
- 集群模式（Clustering）：多个消费者实例共享消息，每条消息只会被其中一个实例消费。
- 广播模式（Broadcasting）：每个消费者实例都会消费所有消息。

consumer.registerMessageListener(new MessageListenerConcurrently() {
    @Override
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
        for (MessageExt msg : msgs) {
            System.out.printf("Received message: %s%n", new String(msg.getBody()));
        }
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    }
});
consumer.start();

4. 消息确认与重试

RocketMQ 提供了机制来确保消息的可靠消费，即使在出现错误或系统故障时也能保证消息不丢失。

消息确认：
- 消费者成功处理消息后，会向 Broker 返回消费确认（ACK）。
- 如果消费者未能成功处理消息，或者处理时间超过了设定的超时时间，RocketMQ 会认为消费失败。
```
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
```
消息重试：
- 当消息消费失败时，RocketMQ 会自动进行重试。重试次数是可配置的。
- 如果多次重试后仍然失败，消息会被放入死信队列（DLQ）。

5. NameServer

NameServer 是 RocketMQ 的路由服务管理模块，类似于 DNS 系统。它的主要功能包括：

Broker 注册：
- 每个 Broker 启动时会向 NameServer 注册自己的地址和元数据。
路由发现：
- Producer 和 Consumer 在启动时，向 NameServer 查询 Topic 的路由信息，以确定将消息发送到哪个 Broker，或者从哪个 Broker 拉取消息。