RocketMQ 基础与高级

【非典型Coder】

已于 2023-12-27 11:25:34 修改

阅读量566

点赞数

分类专栏： MQ 分布式文章标签：后端 RocketMQ MQ 消息队列 java

于 2022-01-11 10:50:49 首次发布

本文链接：https://blog.csdn.net/u011060911/article/details/122426455

版权

分布式同时被 2 个专栏收录

21 篇文章 2 订阅

订阅专栏

2 篇文章 0 订阅

订阅专栏

RocketMQ 是阿里开源的国产消息中间件，由于其集群相对比较成熟，能保证消息零丢失，所以在金融领域或交易系统中广泛使用。

基本架构

1. NameServer: 消息发送和消费都是直连的 nameServer，nameServer 负责跳转到对应的 broker 上对应的 queue。

2. broker：保存 queue 信息，并且还负责主从间数据同步、以及高可用。

消息模型

RocketMQ 采用 pull 的方式进行消费，好处是，消费速度可以由consumer 自行控制。

根据消费的方式分为:

broadcast：广播模式，订阅同一个 topic 的所有 consumer 都会收到相同的消息。
cluster：负载均衡模式，订阅同一个 topic 的所有 consumer 都会收到不同消息，这些消息的并集是该 topic 收到的所有消息。

消息过滤

针对某个 topic ，producer 和 consumer 还可以对消息打 tag 来达到消息过滤的功能。

消息可靠性

1. 消息的安全

RocketMQ 提供了同步和异步的消息刷盘机制，如果无法容忍消息的丢失可以选择同步的方式进行刷盘，需要牺牲性能来换取。

比如涉及到金融的交易系统，线上环境就完全采用同步方式：

2. 消息的顺序

RocketMQ 实现为一个 topic 会创建多个 queue ，这就造成消息的乱序问题，解决方法：

producer 发送时指定要发送的具体的 queue:

            SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
            @Override
            public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
                Integer id = (Integer) arg;
                int index = id % mqs.size();
                return mqs.get(index);
            }
            }, orderId);

consumer 在消费时，也只消费固定的一个 queue 即可：

       consumer.registerMessageListener(new MessageListenerOrderly() {

            AtomicLong consumeTimes = new AtomicLong(0);
            @Override
            public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs,
                                                       ConsumeOrderlyContext context) {

        });

事务消息

事务消息是RocketMQ 的重要特征之一，是指 producer 能够将发送消息和本地事务操作作为一个事务处理的能力。

事务消息具体工作流程：

代码层面相对起来比价简单，producer 发送消息前，设置个 TransactionListener 回调即可。

public interface TransactionListener {
    /**
     * When send transactional prepare(half) message succeed, this method will be invoked to execute local transaction.
     *
     * @param msg Half(prepare) message
     * @param arg Custom business parameter
     * @return Transaction state
     */
    LocalTransactionState executeLocalTransaction(final Message msg, final Object arg);

    /**
     * When no response to prepare(half) message. broker will send check message to check the transaction status, and this
     * method will be invoked to get local transaction status.
     *
     * @param msg Check message
     * @return Transaction state
     */
    LocalTransactionState checkLocalTransaction(final MessageExt msg);
}