SpringBoot整合RocketMQ笔记 安装 测试 TCC分布式事务

已于 2024-08-15 08:48:47 修改
阅读量1.4k 收藏
点赞数 1
分类专栏： 笔记 Java 文章标签： java-rocketmq spring boot rocketmq
于 2023-10-01 23:05:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27577113/article/details/132791664
版权
Java 同时被 2 个专栏收录
53 篇文章 1 订阅
订阅专栏
笔记
17 篇文章 0 订阅
订阅专栏

SpringBoot版本为2.3.12.Release

RocketMQ对比kafka

在这里插入图片描述

学习链接

https://zhuanlan.zhihu.com/p/335216381 代码实战

https://www.cnblogs.com/RedOrange/p/17401238.html Centos安装rocketmq

https://blog.csdn.net/chuige2013/article/details/123783612 RocketMQ详细配置与使用详解

https://rocketmq-1.gitbook.io/rocketmq-connector/quick-start/qian-qi-zhun-bei/ji-qun-huan-jing 官网学习地址

前言

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，支持水平扩容。为了进一步降低成本，阿里中间件团队认为Notify可进一步优化。

2011年初，Linkedin开源了kafka, 阿里中间件团队在对kafka做了充分的review之后，被kafka的无限消息堆积能力、高效的持久化速度深深吸引，但同时发现kafka主要定位于日志传输，对于使用在淘宝交易、订单、充值等场景下，还有若干特性不满足。因此，阿里中间件团队基于Java重新编写了RocketMQ，定位于不仅限于日志场景的可靠消息传输。

目前，RocketMQ在阿里集团被广泛应用于订单、充值、交易、流计算、消息推送、日志流式处理、binlog分发等场景。

RocketMQ与kafka的不同

1、数据可靠性
RocketMQ：支持异步实时刷盘、同步刷盘、同步复制、异步复制。
kafka：使用异步刷盘方式，异步复制/同步复制。

总结：
1、RocketMQ支持kafka所不具备的“同步刷盘”功能，在单机可靠性上比kafka更高，不会因为操作系统Crash而导致数据丢失。
2、kafka的同步replication理论上性能低于RocketMQ的replication，这是因为kafka的数据以partition为单位，这样一个kafka实例上可能多上百个partition。而一个RocketMQ实例上只有一个partition，RocketMQ可以充分利用IO组的commit机制，批量传输数据。同步replication与异步replication相比，同步replication性能上损耗约20%-30%。

一句话概括：RocketMQ新增了同步刷盘机制，保证了可靠性；一个RocketMQ实例只有一个partition, 在replication时性能更好。

2、性能对比
1、kafka单机写入TPS月在百万条/秒，消息大小为10个字节。
2、RocketMQ单机写入TPS单实例约7万条/秒，若单机部署3个broker，可以跑到最高12万条/秒，消息大小为10个字节。

总结：
kafka的单机TPS能跑到每秒上百万，是因为Producer端将多个小消息合并，批量发向broker。

那么RocketMQ为什么没有这样做呢？

发送消息的Producer通常是用Java语言，缓存过多消息，GC是个很严重的问题。（问题：难道kafka用scala不需要GC？）
Producer发送消息到broker, 若消息发送出去后，未达到broker，就通知业务消息发送成功，若此时Broker宕机，则会导致消息丢失，从而导致业务出错。
Producer通常为分布式系统，且每台机器都是多线程发送，通常来说线上单Producer产生的消息数量不会过万。
消息合并功能完全可由上层业务来做。
一句话概括：RocketMQ写入性能上不如kafka, 主要因为kafka主要应用于日志场景，而RocketMQ应用于业务场景，为了保证消息必达牺牲了性能，且基于线上真实场景没有在RocketMQ层做消息合并，推荐在业务层自己做。

3、单机支持的队列数
1、kafka单机若超过了64个partition/队列，CPU load会发生明显飙高，partition越多，CPU load越高，发消息的响应时间变长。
2、RocketMQ单机支持最高5万个队列，CPU load不会发生明显变化。

队列多有什么好处呢？
1、单机可以创建更多个topic, 因为每个topic都是有一组队列组成。
2、消费者的集群规模和队列数成正比，队列越多，消费类集群可以越大。

一句话概括：RocketMQ支持的队列数远高于kafka支持的partition数，这样RocketMQ可以支持更多的consumer集群。

4、消息投递的实时性
1、kafka采用短轮询的方式，实时性取决于轮询时间间隔，0.8以后版本支持长轮询。
2、RocketMQ使用长轮询，同Push实时性一致，消息投递的延迟通常在几毫秒内，

一句话：kafka与RocketMQ都支持长轮询，消息投递的延迟在几毫秒内。

5、消费失败重试
1、kafka不支持消费失败重试。
2、RocketMQ消费失败支持定时重试，每次重试间隔时间顺延。

总结：以充值类应用为例，若当前时刻调用运营商网管失败，可能运营商网关此时压力过大，稍后再调用就会成功。这里的重试指可靠的重试，即失败重试的消息不是因为consumer宕机而导致的消息丢失。

一句话概括：RocketMQ支持消费失败重试功能，主要用于第一次调用不成功，后面可调用成功的场景。而kafka不支持消费失败重试。

6、严格保证消息有序
1、kafka可保证同一个partition上的消息有序，但一旦broker宕机，就会产生消息乱序。
2、Rocket支持严格的消息顺序，一台broker宕机，发送消息会失败，但不会乱序。举例：MySQL的二进制日志分发需要保证严格的顺序。

一句话概括：kafka不保证消息有序，RocketMQ可保证严格的消息顺序，即使单台Broker宕机，仅会造成消息发送失败，但不会消息乱序。

7、定时消息
1、kafka不支持定时消息
2、开源版本的RocketMQ仅支持定时级别，定时级别用户可定制

8、分布式事务消息
1、kafka不支持分布式事务消息
2、RocketMQ支持分布式事务消息。

9、消息查询
1、kafka不支持消息查询
2、RocketMQ支持根据消息标识（发送消息时指定一个消息key, 任意字符串，如指定为订单编号）查询消息，也支持根据消息内容查询消息。

总结：消息查询功能对于定位消息丢失问题非常有用，例如某个订单处理失败，可用此功能查询是消息没收到，还是收到了但处理出错了。

一句话概括：RocketMQ支持按消息标识或消息内容查询消息，用于排查消息丢失问题；kafka不支持消息查询。

10、消息回溯
1、kafka可按照消息的offset来回溯消息
2、RocketMQ支持按照时间来回溯消息，精度到毫秒，例如从一天的几点几分几秒几毫秒来重新消费消息。

总结：RocketMQ按时间做回溯消息的典型应用场景为，consumer做订单分析，但是由于程序逻辑或依赖的系统发生故障等原因，导致今天处理
的消息全部无效，需要从昨天的零点重新处理。

11、消息并行度
1、kafka的消息并行度，依赖于topic里配置的partition数，如果partition数为10，那么最多10台机器来消费，每台机器只能开启一个线程；或者一台机器消费，最多开启10个线程。消费的并行度与partition个数一致。
2、RocketMQ并行消费分两种情况：
1）顺序消费方式的并行度与kafka一致。
2）乱序消费方式的并行度取决于consumer的线程数，如topic配置10个队列，10台机器消费，每台机器100个线程，那么并行度为1000。

一句话概括：kafka的消费并行度等于partition数；RocketMQ的消费并行度等于消费的线程数，不受队列数限制。

12、开发语言
1、kafka采用scala开发
2、RocketMQ采用Java开发

13、消息堆积能力
kafka比RocketMQ的消息堆积能力更强，不过RocketMQ单机也可支持亿级的消息积压能力，这个堆积能力也能够完全满足业务需求。

14、开源社区活跃度
1、kafka社区更新较慢
2、RocketMQ的Github社区有250人，公司用户登记了联系方式，QQ群超过1000人，
3、kafka原开发团队成立了新公司，暂时未看到相关产品。
4、RocketMQ已在阿里云商业化，目前以云服务形式供外部商用，并向用户承诺99.99%的可靠性，同时彻底解决了用户自己搭建MQ产品的运维复杂性问题。

15、应用领域成熟度
1、kafka在日志领域比较成熟
2、RocketMQ在阿里集团内部有大量的应用在使用，并顺利支持了多次天猫双十一的考验。

总结

kafka和RocketMQ的总体区别是，kafka设计初衷是用于日志传输，而RocketMQ的设计用于解决各类应用可靠的消息传输，阿里云官网承诺RocketMQ数据可靠性为10个9，服务可靠性为99.95%。

kafka相比RocketMQ的优势
1、单机吞吐量TPS可上百万，远高于RocketMQ的TPS7万每秒，适用于日志类消息。
2、kafka支持多语言的客户端

RocketMQ相比kafka的优势
1、保证消息不丢（ 数据可靠性达10个9）
2、可严格保证消息有序
3、支持分布式事务消息
4、支持按时间做消息回溯（可精确到毫秒级）
5、支持按标识和内容查询消息，用于排查丢消息
6、支持消费失败重试
7、可支持更多的partition, 即更多的消费线程数

Linux快速安装RocketMQ

(1)Apache仓库：https://archive.apache.org/dist/rocketmq/
(2)官网：https://rocketmq.apache.org/zh/
(3)上传到centos7
(4)解压
在这里插入图片描述
在这里插入图片描述

(5)安装说明：https://blog.csdn.net/weixin_67767103/article/details/127260319

修改配置文件

进入bin文件加中修改三个文件：runserver.sh、runbroker.sh、tools.sh，主要是为了调整jvm堆内存，防止启动失败

进入bin目录，首先我们修改runsever.sh的。使用vim命令：vim runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=256m"

接着修改runbroker.sh文件，同样vim runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

再接着，修改tools.sh，同样vim tools.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=200m"

启动mq，linux记得关防火墙

systemctl stop firewalld或者对9876端口开放访问

使用命令
nohup sh bin/mqnamesrv &

查看启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log
The Name Server boot success…
在这里插入图片描述启动mqbroker服务
nohup sh bin/mqbroker -n localhost:9876 &
8976为rocketmq的默认端口

查看日志
tail -f ~/logs/rocketmqlogs/broker.log
The broker[%s, 172.30.30.233:10911] boot success…

在这里插入图片描述

测试RocketMQ

发送消息
设置环境变量 export NAMESRV_ADDR=localhost:9876 #
使用安装包的Demo发送消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
在这里插入图片描述

接收消息
设置环境变量 export NAMESRV_ADDR=localhost:9876
接收消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
在这里插入图片描述

关闭RocketMQ
关闭NameServer sh bin/mqshutdown namesrv
关闭Broker sh bin/mqshutdown broker

各角色介绍

Producer：消息的发送者；举例：发件者
Consumer：消息接收者；举例：收件人
Consumer Group：消费组；每一个 consumer 实例都属于一个 consumer group，每一条消息只会被同一个 consumer group 里的一个 consumer 实例消费。（不同consumer group可以同时消费同一条消息）
Broker：暂存和传输消息；举例：快递公司
NameServer：管理 Broker；举例：快递公司的管理机构
Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个 Topic；一个消息的接收者可以订阅一个或者多个 Topic 消息
Message Queue：相当于是 Topic 的分区；用于并行发送和接收消息

可视化监控平台搭建

下载地址：https://github.com/apache/rocketmq-dashboard
拉下来配置maven和jdk，直接使用idea启动
配置mq地址
在这里插入图片描述
在这里插入图片描述
设置开机启动
将启动脚本挂载到系统init文件下
vim /etc/rc.d/rc.local

测试用例

Java语言的生产者消费者测试用例

初始化生产者消费者

入门建议手动创建连接。
发送同步消息步骤

1.创建DefaultMQProducer，输入组名
2.设置mq地址
3.启动producer
4.编写消息，设置topic、tag、body
5.发送mq消息
6.关闭producer

排查Topic是否已创建
cat ~/logs/rocketmqlogs/broker.log  | grep topicName=自己的Topic

启动broker时开启自动创建Topic或自己去手动创建
nohup sh mqbroker -n localhost:9876 autoCreateTopicEnable=true > ../broker.log &
手动创建topic：进入mq的安装目录 ，执行如下命令创建topic。

mq安装的相对目录是rocketmq-all-4.4.0/distribution/target/apache-rocketmq/bin

以下命令创建了一个名称是orderPay的topic

sh mqadmin updateTopic -b localhost:10911 -t orderPay

涉及到的常量

package club.xxx.mq.constants;

public class MQAddrConst {
    /**
     * mq地址
     */
    public static final String IP1 = "192.168.202.14:9876";


    public static final String TOPIC1 = "Order_Transaction_TopicTest";
    public static final String GROUP_NAME1 = "my_first_mq_test_group_name";
    public static final String TAG1 = "my_first_mq_test_tag";
}


package club.xxx.mq.constants;

public class OrderConst {
    public static final String ORDER1 = "ORDER_PREFIX:username:1702935568079523840";
    public static final String ORDER2 = "ORDER_PREFIX:username:1702935568083718144";
    public static final String ORDER3 = "ORDER_PREFIX:username:1702935568083718145";
    public static final String ORDER4 = "ORDER_PREFIX:username:1702935568083718146";
    public static final String ORDER5 = "ORDER_PREFIX:username:1702935568083718147";
    public static final String ORDER6 = "ORDER_PREFIX:username:1702935568083718148";
    public static final String ORDER7 = "ORDER_PREFIX:username:1702935568083718149";
    public static final String ORDER8 = "ORDER_PREFIX:username:1702935568083718150";
}

生产者代码

package club.xxx.mq._02myrawmq;

import club.xxx.mq.constants.MQAddrConst;
import club.xxx.mq.constants.OrderConst;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

/**
 * 1、Producer端发送同步消息 这种可靠性同步地发送方式使用的比较广泛，比如：重要的消息通知，短信通知。
 */
public class _01MySyncProducer {
    public static void main(String[] args) throws Exception {
        // 实例化消息生产者Producer
        DefaultMQProducer producer = new DefaultMQProducer(MQAddrConst.GROUP_NAME1);
        // 设置NameServer的地址
        producer.setNamesrvAddr(MQAddrConst.IP1);
        // 启动Producer实例
        producer.start();
        // 创建消息，并指定Topic，Tag和消息体
        Message msg = new Message(MQAddrConst.TOPIC1/* Topic */,
                MQAddrConst.TAG1 /* Tag */,
                (OrderConst.ORDER1).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        );
//        msg.setKeys("KEY???");
        // 发送消息到一个Broker
        SendResult sendResult = producer.send(msg);
        // 通过sendResult返回消息是否成功送达
        System.out.printf("sync send ok: %s%n", sendResult);
        // 如果不再发送消息，关闭Producer实例。
        producer.shutdown();
    }
}

消费者代码

package club.xxx.mq._02myrawmq;

import club.xxx.mq.constants.MQAddrConst;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.message.MessageExt;

import java.nio.charset.StandardCharsets;
import java.util.List;

/**
 * 消费者
 */
public class _02MyConsumer {

    public static void main(String[] args) throws InterruptedException, MQClientException {

        // 实例化消费者
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(MQAddrConst.GROUP_NAME1);

        // 设置NameServer的地址
        consumer.setNamesrvAddr(MQAddrConst.IP1);

        // 订阅一个或者多个Topic，以及Tag来过滤需要消费的消息
        consumer.subscribe(MQAddrConst.TOPIC1, MQAddrConst.TAG1); // subExpression <=> tags
        // 注册回调实现类来处理从broker拉取回来的消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
                String topic = msgs.get(0).getTopic();
                String tags = msgs.get(0).getTags();
                String msgId = msgs.get(0).getMsgId();
                String data = new String(msgs.get(0).getBody(), StandardCharsets.UTF_8);

                System.out.printf("收到订阅消息: %s, %s, %s, %s, %s\r\n", Thread.currentThread().getName(), topic, tags, msgId, data);
                // 手动标记消息已被消费/标记该消息已经被成功消费
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 启动消费者实例
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }
}

TCC分布式事务消息

Java实现
jdk1.8
rocketmq-4.3.0
生产者

package club.xxx.mq._02myrawmq;

import club.xxx.mq.constants.MQAddrConst;
import club.xxx.mq.constants.OrderConst;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.common.RemotingHelper;

/**
 * <p>rocketmq-4.3.0</p>
 * 1、Producer端发送同步消息 这种可靠性同步地发送方式使用的比较广泛，比如：重要的消息通知，短信通知。
 */
public class _01MySyncProducer {
    public static void main(String[] args) throws Exception {
        // 实例化消息生产者Producer
        DefaultMQProducer producer = new DefaultMQProducer(MQAddrConst.GROUP_NAME1);
        // 设置NameServer的地址
        producer.setNamesrvAddr(MQAddrConst.IP1);
        // 启动Producer实例
        producer.start();
        // 创建消息，并指定Topic，Tag和消息体
        Message msg = new Message(MQAddrConst.TOPIC1/* Topic */,
                MQAddrConst.TAG1 /* Tag */,
                (OrderConst.ORDER1).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        );
//        msg.setKeys("KEY???");
        // 发送消息到一个Broker
        SendResult sendResult = producer.send(msg);
        // 通过sendResult返回消息是否成功送达
        System.out.printf("sync send ok: %s%n", sendResult);
        // 如果不再发送消息，关闭Producer实例。
        producer.shutdown();

    }
}

消费者

package club.xxx.mq._02myrawmq;

import club.xxx.mq.constants.MQAddrConst;
import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.message.MessageExt;

import java.nio.charset.StandardCharsets;
import java.util.List;

/**
 * <p>rocketmq-4.3.0</p>
 * 消费者
 */
public class _02MyConsumer {

    public static void main(String[] args) throws InterruptedException, MQClientException {

        // 实例化消费者
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(MQAddrConst.GROUP_NAME1);

        // 设置NameServer的地址
        consumer.setNamesrvAddr(MQAddrConst.IP1);

        // 订阅一个或者多个Topic，以及Tag来过滤需要消费的消息
        consumer.subscribe(MQAddrConst.TOPIC1, MQAddrConst.TAG1); // subExpression <=> tags
        // 注册回调实现类来处理从broker拉取回来的消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
                String topic = msgs.get(0).getTopic();
                String tags = msgs.get(0).getTags();
                String msgId = msgs.get(0).getMsgId();
                String data = new String(msgs.get(0).getBody(), StandardCharsets.UTF_8);

                System.out.printf("收到订阅消息: %s, %s, %s, %s, %s\r\n", Thread.currentThread().getName(), topic, tags, msgId, data);
                // 手动标记消息已被消费/标记该消息已经被成功消费
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 启动消费者实例
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }
}

事务消息生产者TCC简单实现

package club.xxx.mq._02myrawmq;

import club.xxx.mq.constants.MQAddrConst;
import club.xxx.mq.constants.OrderConst;
import org.apache.rocketmq.client.producer.LocalTransactionState;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.client.producer.TransactionListener;
import org.apache.rocketmq.client.producer.TransactionMQProducer;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.common.message.MessageExt;
import org.apache.rocketmq.remoting.common.RemotingHelper;

/**
 * <p>rocketmq-4.3.0</p>
 * 1、Producer端发送同步消息 这种可靠性同步地发送方式使用的比较广泛，比如：重要的消息通知，短信通知。
 */
public class _03MyTransactionProducer {
    public static void main(String[] args) throws Exception {
        // 实例化消息生产者Producer
        TransactionMQProducer producer = new TransactionMQProducer(MQAddrConst.GROUP_NAME1);
        // 设置NameServer的地址
        producer.setNamesrvAddr(MQAddrConst.IP1);
        // 启动Producer实例
        producer.start();
        producer.setTransactionListener(new TransactionListener() {
            @Override
            public LocalTransactionState executeLocalTransaction(Message message, Object o) {
                // 这里做自己的事务操作
                return LocalTransactionState.COMMIT_MESSAGE;
            }

            @Override
            public LocalTransactionState checkLocalTransaction(MessageExt messageExt) {
                // 事务回滚操作
                return LocalTransactionState.COMMIT_MESSAGE;
            }
        });
        // 创建事务消息，并指定Topic，Tag和消息体
        Message msg = new Message(MQAddrConst.TOPIC1/* Topic */,
                MQAddrConst.TAG1 /* Tag */,
                (OrderConst.ORDER1).getBytes(RemotingHelper.DEFAULT_CHARSET) /* Message body */
        );
//        msg.setKeys("KEY???");
        // 发送消息到一个Broker
        SendResult sendResult = producer.sendMessageInTransaction(msg, null);
        // 通过sendResult返回消息是否成功送达
        System.out.printf("sync send ok: %s%n", sendResult);
        // 如果不再发送消息，关闭Producer实例。
        producer.shutdown();

    }
}
来自喵星
关注
专栏目录
MQ技术选型
01-07
一、MQ相关知识介绍 1、概述 MQ(Message Queue)，即消息队列。早已成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的MQ，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发RocketMQ等。 2、MQ模式分类 消息队列包括两种模式：点对点模式 和 发布/订阅模式。 2.1 点对点 PTP点对点:使用queue作为通信载体，如图： 点对点模式特点说明： 1.消息生产者(Producer)生产消息发送到Queue中，然后消息消费者(Consum
RocketMQ与kafka的区别
热门推荐
胜天半子
03-08 4万+
一、前言 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，支持水平扩容。为了进一步降低成本，阿里中间件团队认为Notify可进一步优化。 2011年初，Linkedin开源了kafka, 阿里中间件团队在对kafka做了充分的review之后，被kafka的无限消息堆积能力、高效的持久化速度深深吸引，但同时发现kafka主要定位于日志传输，对于使用在淘...
从零到一：Spring Boot 与 RocketMQ 的完美集成指南
qq_51447436的博客
08-21 4439
从零到一：Spring Boot 与 RocketMQ 的完美集成指南
kafka和rocketmq区别对比
haoweng4800的博客
04-28 5763
Kafka和RocketMQ是目前非常流行的分布式消息系统，它们都能够高效地处理海量的消息数据。在本文中，我们将对Kafka和RocketMQ进行技术比较，分析它们在各方面的优缺点，以便读者在选择消息系统时能够做出更加明智的决策。 一、架构设计 Kafka和RocketMQ都是基于发布/订阅模式的消息系统，但是它们的架构设计有所不同。 Kafka的架构设计比较简单，主要由生产者、消费者和Kafk...
Kafka与RocketMQ区别
MrLiar的博客
08-06 6414
一、数据可靠性 RocketMQ支持异步实时刷盘，同步刷盘，同步Replication，异步Replication Kafka使用异步刷盘方式，异步Replication 总结：RocketMQ的同步刷盘在单机可靠性上比Kafka更高，不会因为操作系统Crash，导致数据丢失。 同时同步Replication也比Kafka异步Replication更可靠，数据完全无单点。 二、性能对比 Kafka单机写入TPS约在百万条/秒，消息大小10个字节 RocketMQ单机写入TPS单实例约7万条/.
基于Hyperf框架的TCC分布式事务组件.zip
02-02
TCC（Try-Confirm-Cancel）模式是一种著名的分布式事务解决方案，它适用于大型微服务架构。本资料"基于Hyperf框架的TCC分布式事务组件"旨在帮助开发者理解如何在Hyperf这个高性能、轻量级的PHP微服务框架中实现TCC...
rest-tcc分布式事务
09-22
### REST-TCC分布式事务 #### 一、引言与背景 在RESTful Web服务领域，原子性事务的支持一直是讨论的热点。尽管HTTP协议定义的GET、PUT、DELETE等请求具有幂等性，使得单个服务的客户端交互具备了一定程度的可靠性...
tcc分布式事务框架-hmily #资源达人分享计划#
08-05
TCC（Try-Confirm-Cancel）模式是一种解决分布式事务问题的方案，而hmily框架则是实现TCC模式的一个优秀工具。这个资源达人分享的项目提供了一个基于Spring Boot和Feign接口调用的hmily分布式事务框架的实例，非常...
springboot多数据源即分布式事务解决方案
10-16
3. 跨服务事务协调：在微服务架构中，分布式事务可能涉及多个服务，需要使用如Saga、TCC（Try-Confirm-Cancel）或2PC（两阶段提交）等分布式事务协调算法。 4. 性能影响：分布式事务会增加系统的复杂性，可能导致...
基于Java的TCC分布式事务框架.zip
最新发布
09-03
基于Java的TCC分布式事务框架 项目概述 TCC（TryConfirmCancel）是一种分布式事务处理模式，广泛应用于需要保证数据一致性的分布式系统中。本项目提供了一个基于TCC模式的分布式事务框架，支持多种存储方式（如...
Kafka与Rocketmq的区别
aasoga的博客
02-02 4811
系统一直使用的Kafka用来消费业务流水，最近在群里听到反馈说希望转到Rocketmq，支持更多的业务功能，因此去了解了一下，发现相比之下Kafka确实应用场景 太少了，基本就是消费日志，相比之下Rockmq有很多优秀的特性，下面具体介绍一下。 Kafka 首先介绍一下Kafka，Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，比较常用于日志收集系统，和消息系统等 1、可以以时间复杂度为O(1)的方式提供消息持久化能力，对TB以上的数据也能保持常数时间
Kafka与RocketMQ区别是什么
隐风的博客
10-01 2115
本文详细对比分析了Kafka和RocketMQ在适用场景、架构设计、性能、可靠性、实时性、延迟消息和适用项目等方面的差异。总体来说，Kafka和RocketMQ都是优秀的消息队列系统，适用于不同的业务场景。在选择时需要根据实际需求进行评估和选择。如果需要处理大规模日志数据或实时数据流，可以选择Kafka；如果需要处理分布式事务或消息推送等场景，可以选择RocketMQ。
Kafka与RocketMq比较
weixin_51594609的博客
11-17 2134
MQ全称 Message Queue，也就是消息队列，是应用程序之间的通信方法。业务异步解耦解耦微服务流量削峰消息分发分布式事务的数据一致性。关于RocketMQ与Kafka从架构设计，数据可靠性，性能对比，消息投递实时性，消费失败重试，严格的信息顺序，定时信息，消息事务，故障恢复，使用场景，十大方面进行比较。
RocketMQ和Kafka的差异对比
点滴之积
03-06 1万+
kafka和rocketmq的差异，broke，producer和consume上的差异。
RocketMQ与Kafka深度对比：特性与适用场景解析
码到三十五
02-15 1万+
在分布式系统中，消息队列作为解耦、缓冲和异步通信的关键组件，其选择对于系统的性能和稳定性至关重要。本文将详细对比RocketMQ与Kafka在数据可靠性、实时性、队列数与性能、消息顺序性、适用场景等方面的差异，帮助读者根据实际需求做出更明智的选择。而对于处理海量数据流的场景，Kafka则更具优势。这种高队列数支持得益于RocketMQ的队列模型设计，使得它在处理海量消息时具有更高的吞吐量和更低的延迟。RocketMQ支持严格的消息顺序，即使在一台Broker宕机的情况下，也能通过其他机制保证消息的有序性。
读懂消息队列：Kafka与RocketMQ
Hopefully Sky的博客
04-16 9927
3月份学完了极客时间的《消息列队高手课》专栏，专栏讲解了许多消息队列的基础知识并且对Kafka与RocketMQ两种主流消息队列有精彩的对比分析。学完专栏后将所有要点整理为笔记记录下来。
kafka与rocketmq区别
只有不断地学习，不断地进步，才能感受到生活的快乐，意义。。。。
08-29 4062
1、kafka单机tps比rocketmq高一点。 2、kafka消息失败不支持重试。 3、kafka的topic越多，性能越差，原因是kafka的topic消息存多个partition，topic越多，partition越多，磁盘io效率降低。 rocketmq一个broker机器上所有topic消息都存一个commitlog文件，并且数据对应到commitQueue队列，并且使用了l...
Kafka和RocketMQ区别（架构、存储、高可用）
waj89757的专栏
03-09 2859
公司提供两种工具 Kafka和RocketMQ，需要了解原理，业务选型时更好决策。本篇主要讲二者核心区别，然后给出一些业务指导 一、架构简介 1.1 Kafka 三大组件: producer broker consumer 1.2 RocketMQ 四大组件: producer broker nameSrvconsumer broker是两者最大分歧，其他都差不多。 Kafka broker 就是一个物理节点；负责读写消息、数据同步；负责多节点间协调（路由规则元数据维护，管理t..
RESTful服务中的TCC分布式事务实现
"rest-tcc分布式事务 - 基于REST的TCC模式分布式事务解决方案" 在分布式系统中，事务处理是确保数据一致性、可靠性和准确性的关键。传统的ACID（原子性、一致性、隔离性、持久性）事务模型在微服务架构和RESTful ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值