Rocket MQ 系列一 - 入门

最新推荐文章于 2024-09-19 13:19:42 发布
最新推荐文章于 2024-09-19 13:19:42 发布
阅读量316 收藏
点赞数
分类专栏： 消息队列 文章标签： java 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/javaJasonjava/article/details/121343075
版权

什么是消息队列

        消息队列（Message Queue）,从广义上讲是一种消息队列服务中间件，提供一套完整的信息生产、传递、消费的软件系统，如图所示：

        消息队列锁涵盖的功能远不止与队列，其本质是两个进程传递信息的一种方法。两个进程可以分布在同一台机器上，也可以分布在不同的机器上。

        众所周知，进程通信可以通过RPC（Remote Procedure Call，远程过程调用）进行，那么我们为什么要用消息队列来传递服务呢？

        下面我们以春节订火车票为例进行说明。

        春节准备买车票回家过年，我们会打开12306进行如下操作：

        1）输入车票信息，发送订票请求，输入起点，终点，发车时间等等

        2）单机预定按钮，12306APP开始转圈，与此同时全国可能会有几亿人在进行相同的操作。

        3）3s后，应用告诉你订票失败

        4）你修改车次信息，重新发送订票请求，有过了3s，订票成功。

        下面我们以一张流程图来更直观的体现以上操作：

         12306在处理上面请求逻辑时，会遇到以下挑战：

        （1）今天这个车次只售出4000张票，而实际有30万人发送了订票请求，如果逐一请求处理，那么90%以上的人都将要耗时3s来等待，怎么办？

        （2）下游有20个系统需要在订票成功后进行通知，如果逐一调，用这些系统的接口进行通知，而其中一个通知任务执行失败，那么已经通知成功的任务会怎么样？

        （3）12306APP架构会不断调整，当数据结构发生变化时，下游20个系统都随着一起变化吗？

        以上只是随机列举了一些常见问题，如何才能优雅地处理呢？

        答案是：消息队列！

为什么需要消息队列

削峰填谷

        业务系统在超高并发场景中，由于后端服务来不及同步处理过多，过快的请求，可能导致请求堵塞，严重时可能由于高负荷拖垮Web服务器。

        我们都希望流量像直线一样一直比较平稳，这样我们的系统也会更加稳定，但是实际的流量会随着时间不短变化，像12306这样的APP流量大的难以想象，而一年中不同的时间段，其流量也不同，为了能支持最高峰流量，我们通常才去短平快的方式--直接扩容服务器，增加服务端的吞吐量。

        优点是显而易见的，短时间内吞吐量增加了好几倍，甚至数十倍。缺点也十分明显，流量低峰期服务器相对较闲。

        如何平衡平时的空闲与节假日的超高峰呢？我们想到消息对列（Apache RocketMQ,Apache Kafka），也是目前业界比较常用的手段。利用消息队列扭转处理订票请求，告知用户30min内会告诉他订票结果。优缺点明显：性能提升了，但是我们作为业务开发人员，还要维护一个消息队列服务，人手完全不够。消息中间件呼之欲出。

程序间解耦

        不同的业务端在联合开发功能时，常常由于排期不同、人员调配不方便等原因导致项目延期。其实，根本原因是业务耦合过度。

        加入消息队列后，不同的业务端之间开发，联调，上线彼此完全不依赖，也就是说系统解耦了。

异步处理

        处理订票请求是一个漫长的过程，需要检查预定的车次是否有预定数量的票，下单扣库存，更新缓存等一系列操作。这些耗时的操作，我们可以通过使用消息队列的方式，把提交请求成功的消息告诉用户。然后异步处理这些耗时的操作，保证30min内能把处理的结果通过短信推送给用户，否则系统处理多久，用户就会等多久。

数据的最终一致性

        我们通过银行转账的案例来进行说明：

        如果通信失败，如何保证转账成功呢，常用的手段就是消息队列。消息系统的优点：

        （1）免去了用户A多次重试的复杂逻辑

        （2）免去了用户B处理多次重试请求的压力

        （3）即时用户B的服务不可用，业务也不受影响

常见的消息队列

消息队列名字Apache ActiveMQApache KafkaApache RocketMQApache Pulsar
产生时间2007201220172018
贡献公司ApacheLinkedInalibabayahoo
当时流行MQJMSActiveMQKafka, ActiveMQRocketMQ, Kafka
特性

(1) 支持协议众多:AMQP,STOMP,MQTT,JMS

(2) 消息是持久化的JDBC

（1）超高写入速率

（2）end-to-end 耗时毫秒级

（1）亿万级消息支持

（2）万级TOPIC数量支持

（3）end-to-end耗时毫秒级

（1）存储计算分离

（2）支持SQL数据查询

管理后台自带独立部署独立部署无
多语言客户端支持支持

Java

C++

Python

Go

c#

Java

C++

Python

Go

数据流支持不支持支持支持支持
消息丢失理论上不会丢失理论上不会丢失理论上不会丢失理论上不会丢失
文档完备性好极好极好社区不断完善中
商业公司实践国内部分企业LinkedInalibabayahoo,tencet,zhilian
容错无重试机制无重试机制支持重试，死信消息支持重试，死信消息
顺序消息支持支持支持支持
定时消息不支持不支持支持支持
事务消息不支持支持支持支持
消息轨迹不支持不支持支持自己简单实现
消息查询数据库查询不支持支持支持SQL
重放消息不清楚暂停重放实时重放支持
宕机自动切换自动选主手动重启自动切换

geek-wmy
关注
专栏目录
rocketmq入门
小生的博客
03-01 299
RocketMQ简介 1.RocketMQ是一款分布式、队列模型的消息中间件，是阿里巴巴集团自主研发的专业消息中间件，借鉴参考了JMS规范的MQ实现，更参考了优秀的开源消息中间件KAFKA,实现了业务消峰、分布式事务的优秀框架。 2.其底层代码编写清晰优秀，采用Netty NIO框架进行数据通信 3.摒弃了Zookeeper,内部使用更轻量级的NameServer进行网络路由，提高服务性能，并且支...
消息队列RocketMQ基础入门
java编程学习_java基础教程_booyzhang的博客
07-18 1010
一、MQ简介 1、消息队列需求场景 在基于微服务开发的电商项目中，商品的查询和商品的修改是通过两个服务实现的，如果修改了商品的价格，如何保证商品查询服务查询出来的商品价格同步更新呢？ 服务与服务之间的通信方式有两种：同步调用和异步消息调用 同步调用：远程过程调用，REST和RPC 异步消息调用：消息队列 1)、为了保证数据的一致性，当“商户商品修改服务”在完成对A库中商品信息的修改之后，需要调用“商户商品查询服务”及“自媒体商品查询服务”同步完成B库及C库中商品信息的修改； 2)、如果“商户商品修改服
RocketMQ入坑之路（一）入门
java_Linmingxing的博客
05-22 2771
什么是消息队列 MQ？ 这里摘抄阿里云RocketMQ的一段话，详情请看阿里云官方文档，写的非常不错，这里附上链接：https://www.alibabacloud.com/help/zh/doc-detail/29532.htm?spm=a2c63.p38356.b99.2.38567c62R1BFHD 消息队列 RocketMQ 是阿里巴巴集团自主研发的专业消息中间件，基于高可用分布式集...
RocketMQ详解+部署+案例
Felix_阳的博客
09-04 2093
Github 上关于 RocketMQ 的介绍： RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性： 支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型 在一个队列中可靠的先进先出（FIFO）和严格的顺序传递 支持拉（pull）和推（push）两种消息模式 单一队列百万消息的堆积能力 支持多种消息协议，如 JMS、MQTT 等 分布式高可用的部...
Rocket MQ入门与集群搭建
好好学习
09-19 531
Producer：消息的发送者Consumer：消息接收者Broker：暂存和传输消息NameServer：管理BrokerTopic：区分消息的种类，一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息。Message Queue：相当于是Topic的分区，用于并行发送和接收消息几乎所有命令都需要配置-n表示NameServer地址，格式为ip:port几乎所有命令都可以通过-h获取帮助。
RocketMq-入门篇
软件工程探索之旅
06-25 1645
你在工作中是否遇到过这些问题？系统平时访问流量平平，在某个时间段好像决堤似的突增？上下游执行链路长，重要和不重要的执行内容混在一起，层层嵌套？面对高并发时，下游系统无法承载海量的调用量，影响上游响应……如果你也有，那就和我一起来学习rocketMq吧，据说rocketMq能帮我们很好的解决这些问题。......
Rocket MQ 完全入门手册
记录与分享
08-10 709
本手册旨在帮助读者体会Rocket MQ的工作流程，力求能使读者跟着本手册实操一遍之后，获得比单看理论更多的理解。
架构决策之消息中间件MQ系列七-总结
恰恰虎的博客
08-22 761
一、前言 前面我们介绍了ActiveMQ，RabbitMq，RocketMQ，Kafka，Pulsar五种消息中间件的基本的功能和架构设计，每种中间件从功能上是比较类似的，但是又各有千秋，不能笼统的说谁最优秀，需要针对具体的应用场景，做出适合的选择。今天我们从功能，性能，可靠性方面，总结下这几个中间件特点，以便给我们的选型做参考。 二、选型标准 1、功能 对于消息中间件选型，功能是优先要考虑的因素，如果功能方面不满足生产要求，其他的也无从考虑。 (1)优先级消息 对于消息...
rocket mq 入门文档
weixin_33698823的博客
01-31 80
原文地址： http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/ 感谢原作者 十分钟入门RocketMQ 本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本...
Rocket MQ 使用排查指南.zip
08-04
云运维工程师从入门到精通，6个要点掌握Rocket MQ 原理，5步教程快速入门Rocket MQ ，100+常见问题排查精解
RocketMQ系列一：入门级使用演示
aliyunyingy的博客
07-14 630
Apache RocketMQ™ 是一个统一的消息引擎系统， 也是一个轻量级的数据处理平台.当你遇到以下类似问题而束手无策时，RocketMQ 可以帮助你解决：重试消息、死信消息、事物消息支持消息轨迹追踪消息过滤IPv6 支持ACL 支持主、副本自动高可靠全面的监控支持管理平台原生支持Request-Reply 模式支持本教程会以如何利用源码编译、打包、部署、实际使用 RocketMQ。一、如何下载、编译最新版 RocketMQ（本教程会以如何利用源码编译并打包 RocketMQ 为例，演示如何下载、编译任
RocketMQ系列（一）---RocketMQ介绍及入门使用
每天进步一点点
05-05 6624
《RocketMQ实战与原理解析》 《RocketMQ技术内幕》 消息队列：应用解耦，流量控制，消息分发。 RocketMQ设计目标。
Java-网络
2301_81543552的博客
09-14 784
Java中的网络编程主要涉及使用Socket类进行网络通信，以及理解各种网络协议。以下是一些关键概念和示例代码，帮助您入门。
Java企业面试题3
m0_74972727的博客
09-15 795
1. break和continue的作用(智*图) break：用于完全退出一个循环（如 for, while）或一个 switch 语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。 continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在 for 循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。 2. if分支语句和switch分支语句的异同之处(智*图) 相同点：都是用来根据不同的条件执行不同的代码块。
上传文件到钉盘流程详解
jspyth的博客
09-14 803
本文详解如何通过钉钉的API实现上传文件到钉盘目录，代码通过JAVA实现。
自动生成不重复的订单id
ClaireCheney的博客
09-13 347
【代码】自动生成不重复的订单id。
Mybatis-plus进阶篇(四)
最新发布
₍˄·͈༝·͈˄*₎◞ ̑̑的博客
09-19 1222
nested 方法是 MyBatis-Plus 中用于构建查询条件的高级方法之一，它用于创建一个独立的查询条件块，不带默认的 AND 或 OR 逻辑。last 方法是 MyBatis-Plus 中用于构建查询条件的高级方法之一，它允许你直接在查询的最后添加一个 SQL 片段，而不受 MyBatis-Plus 的查询优化规则影响。exists 方法是 MyBatis-Plus 中用于构建查询条件的高级方法之一，它用于在查询中添加一个 EXISTS 子查询。这个方法特别适用于需要对数值字段进行减量操作的场景。
Gradle
xiaocaij_icai的博客
09-15 246
");
rocket mq 一个consumerGroup配置多个topic
06-07
在 RocketMQ 中，一个 Consumer Group 可以订阅多个 Topic。以下是如何配置一个 Consumer Group 订阅多个 Topic 的步骤： 1. 创建 Consumer Group：可以在控制台中创建一个 Consumer Group。在控制台中，单击“Consumer Groups”选项卡，然后单击“创建”按钮。输入 Consumer Group 的名称和描述，然后单击“确定”按钮来创建 Consumer Group。 2. 订阅多个 Topic：在创建 Consumer Group 之后，需要将其订阅到多个 Topic 中。可以通过控制台或者命令行方式进行订阅。在控制台中，可以单击 Consumer Group 的名称，然后在“订阅信息”选项卡中添加多个 Topic。在命令行中，可以使用以下命令将 Consumer Group 订阅到多个 Topic 中： ``` mqadmin updateSubGroup -b 127.0.0.1:10911 -g MyConsumerGroup -t Topic1,Topic2,Topic3 ``` 3. 启动 Consumer：在完成 Consumer Group 和 Topic 的订阅之后，就可以启动 Consumer 来消费消息了。可以使用以下命令启动一个 Consumer： ``` sh bin/mqconsumer -n localhost:9876 -g MyConsumerGroup -t Topic1,Topic2,Topic3 ``` 通过以上步骤，就可以配置一个 Consumer Group 订阅多个 Topic 了。需要注意的是，RocketMQ 的配置方法可能会随着版本的升级而有所改变，具体的操作步骤需要根据实际情况进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值