RocketMQ详细配置与使用

最新推荐文章于 2024-05-22 20:23:21 发布
最新推荐文章于 2024-05-22 20:23:21 发布
阅读量5.7k 收藏 9
点赞数
分类专栏： 面试 学习路线 阿里巴巴 文章标签： java 分布式 网络 python pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67402731/article/details/125241419
版权

1 MQ介绍

2 为什么要用MQ

消息队列是一种“先进先出”的数据结构在这里插入图片描述其应用场景主要包含以下3个方面

2.1 应用解耦

系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。

在这里插入图片描述

使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复后，补充处理存在消息队列中的订单消息即可，终端系统感知不到物流系统发生过几分钟故障。

2.2 流量削峰

在这里插入图片描述
应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统压垮。有了消息队列可以将大量请求缓存起来，分散到很长一段时间处理，这样可以大大提到系统的稳定性和用户体验。

一般情况，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，这会影响用户体验，而如果使用消息队列将请求缓存起来，等待系统处理完毕后通知用户下单完毕，这样总不能下单体验要好。

处于经济考量目的：

业务系统正常时段的QPS如果是1000，流量最高峰是10000，为了应对流量高峰配置高性能的服务器显然不划算，这时可以使用消息队列对峰值流量削峰

2.3 数据分发

在这里插入图片描述

通过消息队列可以让数据在多个系统更加之间进行流通。数据的产生方不需要关心谁来使用数据，只需要将数据发送到消息队列，数据使用方直接在消息队列中直接获取数据即可

在这里插入图片描述

3 MQ的优点和缺点

优点：解耦、削峰、数据分发
缺点包含以下几点：
系统可用性降低
系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。
如何保证MQ的高可用？
系统复杂度提高
MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。
如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
一致性问题
A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。
如何保证消息数据处理的一致性？

4 各种MQ产品的比较

常见的MQ产品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。
在这里插入图片描述

5 RocketMQ快速入门

RocketMQ 是阿里巴巴2016年MQ中间件，使用 Java 语言开发，在阿里内部，RocketMQ 承接了例如“双11”等高并发场景的消息流转，能够处理万亿级别的消息。

5.1 准备工作

下载RocketMQ

这里选择的 RocketMQ 的版本：4.6.0
下载地址：下载地址
官方文档：http://rocketmq.apache.org/docs/quick-start/

环境要求

Linux64位系统
JDK1.8(64位)

5.2 安装RocketMQ

安装步骤

我这里是以二进制包方式来安装的：

解压安装包
进入安装目录
目录介绍

bin：启动脚本，包括 shell 脚本和 CMD 脚本
conf：实例配置文件 ，包括 broker 配置文件、logback 配置文件等
lib：依赖 jar 包，包括Netty、commons-lang、FastJSON等

启动RocketMQ

RocketMQ 默认的虚拟机内存较大，启动 Broker 或者 NameServer 可能会因为内存不足而导致失败，所以需要编辑如下两个配置文件，修改 JVM 内存大小

编辑 runbroker.sh 和 runserver.sh 修改默认 JVM 大小
$ vi bin/runbroker.sh
# 参考设置
JAVA_OPT=“${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m”

$ vi bin/runserver.sh
# 参考设置
JAVA_OPT=“${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m”

启动 NameServer
1.启动NameServer nohup sh bin/mqnamesrv &
2.查看启动日志 tail -f ~/logs/rocketmqlogs/namesrv.log

启动 Broker
1.启动Broker nohup sh bin/mqbroker -n localhost:9876 &
2.查看启动日志 tail -f ~/logs/rocketmqlogs/broker.log

bin/mqbroker 的一些可选参数：
-c：指定配置文件路径
-n：NameServer 的地址

5.3 测试RocketMQ

发送消息

设置环境变量 export NAMESRV_ADDR=localhost:9876 #
使用安装包的Demo发送消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

接收消息

设置环境变量 export NAMESRV_ADDR=localhost:9876
接收消息 sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

关闭RocketMQ

关闭NameServer sh bin/mqshutdown namesrv
关闭Broker sh bin/mqshutdown broker

各角色介绍

Producer：消息的发送者；举例：发件者
Consumer：消息接收者；举例：收件人
Consumer Group：消费组；每一个 consumer 实例都属于一个 consumer group，每一条消息只会被同一个 consumer group 里的一个 consumer 实例消费。（不同consumer group可以同时消费同一条消息）
Broker：暂存和传输消息；举例：快递公司
NameServer：管理 Broker；举例：快递公司的管理机构
Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个 Topic；一个消息的接收者可以订阅一个或者多个 Topic 消息
Message Queue：相当于是 Topic 的分区；用于并行发送和接收消息

在这里插入图片描述

broker配置文件详解

broker 默认的配置文件位置在：conf/broker.conf

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6 可视化监控平台搭建

6.1 概述

RocketMQ 有一个对其扩展的开源项目 incubator-rocketmq-externals，这个项目中有一个子模块叫 rocketmq-console，这个便是管理控制台项目了，先将 incubator-rocketmq-externals 拉到本地，因为我们需要自己对 rocketmq-console 进行编译打包运行。

在这里插入图片描述

6.2下载并编译打包

克隆项目
git clone https://github.com/apache/rocketmq-externals
在 rocketmq-console 中配置 namesrv 集群地址：
$ cd rocketmq-console $ vim src/main/resources/application.properties rocketmq.config.namesrvAddr=10.211.55.4:9876
配置完成进行编译并打包
mvn clean package -Dmaven.test.skip=true
启动 rocketmq-console：
nohup java -jar rocketmq-console-ng-2.0.0.jar > tmp.log &
启动成功后，我们就可以通过浏览器访问 http://IP地址:8080 进入控制台界面了，如下图：

在这里插入图片描述

7 消息发送与消费示例（Maven）

导入MQ客户端依赖
注意：rocketmq-client 的版本，要与 RocketMQ 的版本一致

org.apache.rocketmq rocketmq-client 4.6.0

消息发送者步骤分析：

创建消息生产者 producer，并指定生产者组名
指定 Nameserver 地址
启动 producer
创建消息对象，指定主题 Topic、Tag 和消息体
发送消息
关闭生产者 producer
消息消费者步骤分析：

创建消费者 Consumer，制定消费者组名
指定 Nameserver 地址
订阅主题 Topic 和 Tag
设置回调函数，处理消息
启动消费者 consumer

8基 本样例

8.1消息发送，发送同步消息

这种可靠性同步地发送方式使用的比较广泛，比如：重要的消息通知，短信通知

public class SyncProducer {
	public static void main(String[] args) throws Exception {
    	// 实例化消息生产者Producer
        DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
     	// 设置NameServer的地址
     	producer.setNamesrvAddr("localhost:9876");
     	// 设置消息同步发送失败时的重试次数，默认为 2
        producer.setRetryTimesWhenSendFailed(2);
        // 设置消息发送超时时间，默
最低0.47元/天 解锁文章
m0_67402731
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ（14）——发送带Key的消息
Elim的博客
09-06 1714
如果业务里面的某一条消息有问题，通过Topic查询出来的是一堆的消息，虽然说可以通过时间范围查找，但是在某个时间范围内的消息有可能也成千上万，很难找到业务对应的那条。而通过Key进行查找的时候，Key就是我们的业务ID，很容易获得，Key往往是唯一的，那么查询出来的消息也将是唯一的那条。比如下面代码一共发送了10条消息，第一条消息的Key是0、1、2,第二条消息的Key是1、2、3,最后一条消息的Key是9、10、11。发送消息的时候可以指定一个Key，这个Key通常就是消息对应的某种业务的主键。
rocketMQ下载、安装及配置
记录点滴
02-14 756
rocketMQ在启动的时候，也会去环境变量里边读取 NAMESRV_ADDR的值。10100到11000：broker的端口。windows和linux系统版本都一样。9876 ：nameServer端口。jps 是java自带的命令。
RocketMQ（一）—— 基本使用
weixin_56697114的博客
12-01 1855
1、RocketMQ基本使用 1、启动 1.启动NameServer # 1.启动NameServer nohup sh bin/mqnamesrv & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/namesrv.log 2.启动Broker # 1.启动Broker nohup sh bin/mqbroker -n localhost:9876 & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/broker
RocketMQ使用（1）：介绍与启动
最新发布
游王子的博客
05-22 730
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。RocketMQ是阿里研发的一个队列模型的消息中间件，后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。
RocketMQ集群配置
u011197085的博客
07-05 1728
请注意，这些是默认的端口，你可以在RocketMQ的配置文件中修改这些端口。同时，如果你运行了多个broker实例或namesrv实例，那么每个实例需要使用不同的端口。在这种情况下，你可以分别为每个Broker实例创建一个配置文件，并在每个文件中指定相应的Namesrv地址、Broker名称和角色（Master或Slave）。例如，如果你使用了不同的配置文件或者命令选项，那么你需要在。在这些命令的输出中，你可以看到启动Namesrv和Broker的命令，以及关联的进程ID。
RocketMQ的Topic配置多消费方
仰望的博客
08-24 5038
同事压测过程中反馈MQ成为瓶颈，通过MQ控制台发现topic消费方只有一个，而这个RocketMQ是3台机器集群，故需要增加RocketMQ的consumer来缓解压力。broker_name是选择消费方数量，再写上topic名称，其他配置项和原来配置保持一样即可。3、点击对应topic的topic config，查看消费方有几个。4、若需要修改或新增topic的消费方，点击Add/Update。2、输入topic名称查询对应topic。1、登录到MQ控制台，点topic。
RocketMQ (八) 生产者-Producer
dmjxsy的博客
02-27 1500
RocketMQ(生产者)
RocketMQ 服务端搭建与配置所需要的文件【配置环境变量】
08-12
RocketMQ所需要的资源包。说明：除了本压缩文件下的文件，您还需要安装Java1.8、注意，请务必只...最后通过教程来完成RocketMQ 服务端搭建与配置。配置说明可参考：https://www.cnblogs.com/chenwolong/p/13452476.html
Rocketmq运行参数配置详解-图灵杨过1
08-08
本文将详细介绍 RocketMQ 的运行参数配置，帮助开发者更好地理解和使用 RocketMQ。 Broker 配置参数 1. listenPort：Broker 的服务端口号，默认为 10911，作为对 producer 和 consumer 使用服务的端口号。 2. ...
RocketMQ 5.2.0
02-29
- **主题（Topic）与队列（Queue）**: RocketMQ 使用主题和队列的概念来组织消息。一个主题可以包含多个队列，每个队列存储一部分消息。这种设计允许消费者并行消费，提高处理速度。 - **发布/订阅模型**: 支持点...
rocketmq4.5.0安装部署（安装包,开发手册,配置文件）.zip
05-09
首先，我们来看"RocketMQ 开发手册3.2.4.pdf"，这是一份详细的开发者指南，它涵盖了RocketMQ的使用方法、API接口、最佳实践和故障排查等内容。手册中会讲解如何编写生产者和消费者代码，如何发送和接收消息，以及...
浅谈Springboot整合RocketMQ使用心得
08-28
例如，可以使用RocketMQ的事务消息功能来确保消息的一致性，或者利用延时消息实现定时任务。同时，合理设置消费者线程数（如`THREAD_NUM`）以平衡资源消耗和处理能力。 总结来说，Springboot与RocketMQ的整合让...
RocketMQ参数配置
kieven2008的专栏
02-22 4425
一、MQ启动 >nohup sh mqnamesrv & > nohup sh mqbroker -n 47.97.72.25:9876 -c broker.properties & jps查看启动情况 二、broker.properties参数配置详细 #第一台机器的公网ip brokerIP1=47.97.xx.2xx #第二台机器的公网ip brokerIP2=xx.xx.xx.xxx #broker集群名称，用于划分broker brokerClu
RocketMQ配置解析：手把手教老婆看懂broker
m0_60226911的博客
03-18 879
学习技术一定要制定一个明确的学习路线，这样才能高效的学习，不必要做无效功，既浪费时间又得不到什么效率，大家不妨按照我这份路线来学习。大家不妨直接在牛客和力扣上多刷题，同时，我也拿了一些面试题跟大家分享，也是从一些大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！大佬那里获得的，大家不妨多刷刷题，为金九银十冲一波！[外链图片转存中…(img-NONZEqrZ-1710738420552)][外链图片转存中…(img-LicPXNQF-1710738420553)]本文已被。
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2936
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
RocketMQ—（总结）一篇就搞懂 RocketMQ
m0_60721514的博客
09-21 2280
rocketMq 作为低延迟、高并发、高可用、高可靠的分布式消息中间件，其详细知识点非常多，如需深入，建议源码入坑。【这里想说，因为自己也走了很多弯路过来的，所以才下定决心整理，收集过程虽不易，但想到能帮助到一部分自学java 的人，心里也是甜的！有需要的伙伴请点㊦方】↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓。
RocketMQ 5.0部署你需要开通的端口在这里
念念不忘，必有回响
04-27 2929
这里是weihubeats,觉得文章不错可以关注公众号，文章首发。拒绝营销号，拒绝标题党。
docker 要求配置_Docker真香之Linux配置RocketMQ
weixin_39834488的博客
10-21 242
关注我，精彩文章第一时间推送给你！会用docker之后才发现，这玩意真香哈哈首先linux下yum、docker全部配置国内源，为了拉取快速。参考这篇文章 https://www.jianshu.com/p/c717940f9230拉取rocketmq镜像你可以通过docker search rocketmq查询一下可拉取的镜像 额，有点多，反正选stars最多的准没错，我们拉取第一个的最新版la...
2020 RocketMQ安装
javaThinker的专栏
10-10 1958
1、安装 （1）目录规划 二级制文件放入/opt 目录下： /opt/rocketmq-all-4.7.1-bin-release 软链都/usr/local/rocketmq ln -s /opt/rocketmq-all-4.7.1-bin-release /usr/local/rocketmq 2、启动 启动NameServer； 启动Broker，并向 NameServer 注册自己 ################### NameServer ################### # 启动 N
rocketmq安装配置
03-28
RocketMQ是阿里巴巴开源的一款分布式消息中间件，支持高可靠、高吞吐量的消息传递。以下是RocketMQ的安装和配置步骤： 1. 下载RocketMQ 官网链接：https://rocketmq.apache.org/release_notes_release_4.9.0/ 选择合适的版本下载，例如： ``` wget https://www.apache.org/dyn/closer.cgi?action=download&filename=rocketmq/4.9.0/rocketmq-all-4.9.0-bin-release.zip ``` 2. 解压并配置环境变量 ``` unzip rocketmq-all-4.9.0-bin-release.zip cd rocketmq-all-4.9.0-bin-release export ROCKETMQ_HOME=`pwd` export PATH=$PATH:$ROCKETMQ_HOME/bin ``` 3. 启动NameServer ``` nohup sh bin/mqnamesrv & ``` 4. 启动Broker ``` nohup sh bin/mqbroker -n localhost:9876 & ``` 5. 测试RocketMQ ``` sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer ``` 以上是RocketMQ的安装和配置步骤，更多详细信息可以参考官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值