RocketMQ 1 （介绍、安装、测试、搭建集群）

最新推荐文章于 2024-03-15 18:41:58 发布
最新推荐文章于 2024-03-15 18:41:58 发布
阅读量410 收藏
点赞数
分类专栏： java系列 文章标签： 集群 RocketMQ java
@BeanInJ
本文链接：https://blog.csdn.net/a__int__/article/details/113256896
版权

文章目录

1、RocketMQ 初识

RocketMQ 与spring cloud的整合 参考：https://blog.csdn.net/a__int__/article/details/109848085

1.1、MQ介绍

什么是MQ：（Message Queue）消息队列，“先进先出”的一种数据结构。用来解决程序解耦、异步消息，流量削峰等问题。

主要的MQ产品包括：RabbitMQ、ActiveMQ、RocketMQ、ZeroMQ、Kafka、IBM WebSphere 等。

MQ缺点：
1、对于小系统来说，系统可用性降低，一旦MQ宕机业务就会受到影响。
2、加上MQ系统复杂度提高，以前系统是同步调用，现在是异步调用。
3、一致性问题：MQ连接的几个系统中，其中一个坏掉了，其他几个的一致性就不能得到保证了。

1.2、安装与运行

1.2.1、运行前准备

安装前准备：Linux 环境、jdk1.8（64位）。
RabbitMQ下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq

有bin和source，这里下载bin

接下来解压下载好的文件，然后将它移动到/usr/local/rocketmq/下面

unzip rocketmq-all-4.8.0-bin-release.zip                             // 解压
sudo mv rocketmq-all-4.8.0-bin-release /usr/local/rocketmq/          // 移动位置

RocketMQ里面默认配置的java内存比较大，需要我们修改一下

// 在 /usr/local/rocketmq/bin 目录下
sudo vim runserver.sh
sudo vim runbroker.sh

修改两个文件里面的 JAVA_OPT="${JAVA_OPT} -server …" 后面的数字
可根据机器自身内存大小改，例如把8g改成256m，4g改成120m

1.2.2、运行与测试

启动NameServer、Broker

// 在 /usr/local/rocketmq/bin 目录下
nohup sh mqnamesrv &
nohup sh mqbroker -n localhost:9876 &

如果成功运行，你可以：

// 查看nohup生成的nohup.out
cat nohup.out
// 查看正在运行的java程序
jps
// 查看它们的启动日志文件
tail -f ~/logs/rocketmqlogs/namesrv.log               
tail -f ~/logs/rocketmqlogs/broker.log  

// 测试消息发送、接收 （rocketmq目录下执行）
// 新开一个窗口用demo测试发送
export NAMESRV_ADDR=localhost:9876                                   # 1、设置环境变量
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer      # 2、使用demo发送消息
// 新开一个窗口用demo测试接收
export NAMESRV_ADDR=localhost:9876
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

在这里插入图片描述

1.2.3、关闭

关闭NameServer、Broker的指令

sh mqshutdown namesrv
sh mqshutdown broker

1.3、RocketMQ角色 与 集群

  • Broker：处理消息
  • NameServer：Broker向它注册路由信息，同时Producker和Consumer向其获取Broker的路由信息。
  • Producer：消息生产者
  • Consumer：消息消费者
  • Topic： 用来区分不同类型的消息
  • Message Queue： 一个Topic里面有多个Message Queue，消息可以并行往各个Message Queue发消息
    在这里插入图片描述
  • Broker 分为Master（主节点，主要处理写操作）、Slave（从节点，主要处理读操作）：
    1、一个Master对应多个Slave，一个Slave只能对应一个Master。
    2、它两通过指定相同的BrokerName对应关系，用BrokerId来区分Master（用0表示）、Slave（用非0表示）。
    3、Master会把自身的数据同步给对应的Slave。

RocketMQ Broker 的集群搭建有以下几种方式：
1、单Master模式：只用一个主机搭建，一般仅测试时使用。
2、多Master模式：配置简单，某个主机宕机可能会影响部分消息的订阅。
3、多Master多Slave模式（异步）：生产者将消息发送给master之后完成消息回馈，再发给Slave。效率高。
4、多Master多Slave模式（同步）：生产者将消息发送给master，再给Slave之后完成消息回馈。效率低，消息一致性高。

2、RocketMQ集群搭建

本文参考视频：https://www.bilibili.com/video/BV1L4411y7mn?p=15&spm_id_from=pageDriver

接下来我们来尝试搭建由两个Master、两个Slave组成的RocketMQ集群。

本来应该用4台Linux主机来搭建，条件有限，我用两台主机来搭建，也就是两台都启动Master、Slave。

下面是主机ip对应角色：
在这里插入图片描述
下面是搭建步骤，两台主机都需要按照下面操作

2.1、第一步：修改hosts

为了方便访问，修改一下hosts

vim /etc/hosts

hosts 添加内容：

# nameserver
192.168.1.11  rocketmq-nameserver1
192.168.1.12  rocketmq-nameserver2
# broker
192.168.1.11  rocketmq-master1
192.168.1.11  rocketmq-slave2
192.168.1.12  rocketmq-master2
192.168.1.12  rocketmq-slave1

配置完成重启网卡

systemctl restart network

2.2、第二步：防火墙开启对应端口

这里使用RocketMQ的三个默认端口

firewall-cmd --remove-port=9876/tcp --permanent               // nameserver
firewall-cmd --remove-port=10911/tcp --permanent              // master
firewall-cmd --remove-port=11011/tcp --permanent              // slave
firewall-cmd --reload

2.3、第三步：配置RocketMQ的环境变量

修改profile文件

vim /etc/profile

最后一排添加如下内容

# set rocketmq
ROCKETMQ_HOME=/usr/local/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

注意：ROCKETMQ_HOME=后面跟的是rocketmq的根目录

使其生效

source /etc/profile

2.4、第四步：Broker配置文件

在配置之前，我们需要先创建消息的存储路径：

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

Master 1 的配置（主机1：192.168.1.11）

/usr/local/rocketmq/conf 文件夹下有示例配置文件，可以先查看一下

vim /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：

# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同配置文件不一样
brokerName=broker-a
# 0 Master,>0 Slave
brokerId=0
# 所有nameServer地址,与hosts里面的相同
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨4点
deleteWhen=04
# 文件保留时间，默认48小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# COnsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/roketmq/store
# commitLog 存储路径
storePathCommitLog=/usr/local/roketmq/store/commitLog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/roketmq/store/consumequeue
# 消息索引路径
storePathIndex=/usr/local/roketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 限制消息大小
maxMessageSize=65536
# Broker角色 ：ASYNC_MASTER(异步复制master)、SYNC_MASTER(同步双写master)、SLAVE
brokerRole=SYNC_MASTER
# 刷盘方式：ASYNC_FLUSH(异步刷盘)、SYN_FLUSH(同步刷盘)
flushDiskType=SYNC_FLUSH

Slave 2的配置（主机1：192.168.1.11）

vim /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

# 所属集群名字
brokerClusterName=rocketmq-cluster
# broker名字,注意此处不同配置文件不一样
brokerName=broker-b
# 0 Master,>0 Slave
brokerId=1
# 所有nameServer地址,与hosts里面的相同
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
# 是否允许broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker对外服务的监听端口
listenPort=11011
# 删除文件时间点，默认凌晨4点
deleteWhen=04
# 文件保留时间，默认48小时
fileReservedTime=120
# commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# COnsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
storePathRootDir=/usr/local/roketmq/store
# commitLog 存储路径
storePathCommitLog=/usr/local/roketmq/store/commitLog
# 消费队列存储路径
storePathConsumeQueue=/usr/local/roketmq/store/consumequeue
# 消息索引路径
storePathIndex=/usr/local/roketmq/store/index
# checkpoint文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
# abort文件存储路径
abortFile=/usr/local/rocketmq/store/abort
# 限制消息大小
maxMessageSize=65536
# Broker角色 ：ASYNC_MASTER(异步复制master)、SYNC_MASTER(同步双写master)、SLAVE
brokerRole=SLAVE
# 刷盘方式：ASYNC_FLUSH(异步刷盘)、SYN_FLUSH(同步刷盘)
flushDiskType=ASYNC_FLUSH

Master 2 的配置（主机1：192.168.1.12）

vim /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties

配置文件内容和Master 1基本一样，只有如下不同：
在这里插入图片描述
Sleve 1的配置（主机1：192.168.1.12）

vim /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties

配置文件内容和Sleve 2基本一样，只有如下不同：
在这里插入图片描述

2.5、第五步：启动服务

注意：
1、两台主机都进行如下操作
2、下列指令都在 /usr/local/rocketmq/bin目录下操作
启动之前检查一下两台主机的java 内存配置修改了没有：

sudo vim runserver.sh
sudo vim runbroker.sh

在这里插入图片描述
启动NameServer：

nohup sh mqnamesrv &

启动Broker：

// 主机 192.168.1.11 :
// Master 1
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties &
// Sleve 2
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

// 主机 192.168.1.12 :
// Master 2
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties &
// Sleve 1
nohup sh mqbroker -c /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

使用jps指令，可以查看服务是否在运行

BeanInJ
关注
专栏目录
Dledger部署RocketMQ高可用集群（9节点集群）
Java程序员廖志伟
02-27 654
🌟我是廖志伟，一名Java开发工程师、Java领域优质创作者、CSDN博客专家、51CTO专家博主、阿里云专家博主、清华大学出版社签约作者、产品软文专业写手、技术文章评审老师、问卷调查设计师、个人社区创始人、开源项目贡献者。🌎跑过十五公里、🚀徒步爬过衡山、🔥有过三个月减肥20斤的经历、是个喜欢躺平的狠人。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
分布式开放消息系统(RocketMQ)的原理与实践
weixin_33872660的博客
02-25 626
这篇文章写成距今(201808)已经两年半了，其中的内容我已经不能保证是否已经过时，由于当前的业务中也没有在使用RocketMQ，因此很少有时间再去刨代码，很多实践方面的问题也不能很好的为大家解决。因此，建议大家权当入门文章看看，实践中遇到问题的话，在本机跑一跑代码且调试一下，或者去社区逛逛，有可能对你解决...
RocketMQ的集群模式
JavaEdge全是干货的技术号
10-06 1366
1 单点（不推荐） 优点 除了配置简单没什么优点，适合个人学习使用。 缺点 不可靠，该机器重启或宕机，将导致整个服务不可用。无 HA，测试环境玩玩就行。 2 主从 主节点可收发消息，从节点不能接收消息。 具备 HA。不支持主从切换。 3 双主（不推荐） 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点 所有模式中性能最高 缺点 单个 master 节点宕机期间，未被消费的消息在节点恢复之前不可用，消息的实时性就受到影响。 注意：使用同步刷盘可以保证消息不丢
【rocketmq-client-python】集群模型配置
qq_15821487的博客
11-09 643
设置ip:port的位置：producer.set_namesrv_addr(‘xxx.xxx.xxx.xxx:xxxxx’) 当只有单一服务器时，格式是上面这个； 当有多个服务器地址（集群模式）时，可以使用：producer.set_namesrv_addr(“xxx.xxx.xxx.xxx:xxxxx,xxx.xxx.xxx.xxx:xxxxx”) 如果使用pandas数据，pandas数据可以直接转换 ...
消息中间件——RocketMQ（一） 环境搭建（完整版）
weixin_34185320的博客
05-09 286
每章一点正能量：自我控制是最强者的本能。——萧伯纳 前言 最近在学习消息中间件——RocketMQ，打算把这个学习过程记录下来。此章主要介绍环境搭建。此次主要是单机搭建（条件有限），包括在Windows、Linux环境下的搭建，以及console监控平台搭建，最后加一demo验证一下。 环境准备 在搭建RocketMQ之前，请先确保如下环境已经搭建完毕 Java环境（我的JDK1.8） ...
RocketMQ集群搭建
最新发布
mry6的博客
03-15 1073
Producer：消息的发送者；举例：发信者Consumer：消息的接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息。
安装搭建rocketmq集群
hjkl_uiop的博客
09-12 3903
下载地址：https://dlcdn.apache.org/rocketmq/4.9.1/ 下载后可以解压后通过工具上传到服务器。 部署需求（如果是两台机器，可以做一主一从，即broker-a主节点和nameserver在一台机器，broker-a-s从节点和console（rocketmq监控平台）在另一台机器） 在132机器mq目录下创建存储路径： mkdir store mkdir store/commitlog mkdir store/consumequeue mkdir store/index
rocketmq测试1-rocketmq，2m2s集群搭建
2010yhh
10-31 1711
rocketmq测试1-2m2s集群搭建环境： 虚拟机centos；jdk1.8；rocketmq3.5.8 2个虚拟机ip地址：192.168.159.134，192.168.159.136 注意：同一台机器部署多个broker，注意端口及存储目录要不同，且端口号之间要相距大些。 1.2m2s集群搭建 namesrv1 192.168.159.134:9876 n
Python RocketMQ
10-23
python调用java访问RocketMQ，兼容python2和python3。 请安装jpype1
rocketMQ简单总结
一切安好
08-27 880
rocketMQ简单总结
【Django】有效解决django.core.exceptions.ImproperlyConfigured: Requested setting EMAIL_FROM, but settings
sunshine_hanxx的博客
09-29 1347
一、问题描述 在使用celery进行异步邮箱验证时，定义好异步任务和配置好celery的相关设置后，使用celery -A celery_tasks.main worker -l INFO命令能正确启动celery，如下： 但是一旦进行debug，celery端就报出如下错误： django.core.exceptions.ImproperlyConfigured: Requested setting EMAIL_FROM, but settings are not configured. You mus
RocketMQ分布式事务消息
盲流子的博客
02-16 692
1. 分布式事务消息介绍 简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失败。 本质上来说，分布式事务就是为了保证不同数据库的数据一致性。 2. RocketMQ4.X分布式事务消息架构讲解 RocketMQ事务消息： RocketMQ提供分布式事务功能，通过RocketMQ事务消息能达到分布...
RocketMQ异常
奇风影的博客
01-20 1174
参考 RocketMQ:The producer group has been created before, specify another name please.
Django项目中的问题
lebowskii的博客
01-26 749
django里的功能的实现逻辑
RocketMQ架构、工作流程以及安装
qq_62767608的博客
06-15 6058
消息是指，消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题。
RocketMq之创建主题
猎户星座
01-20 2876
自动创建的风险 用户指定的读写队列数可能不是预期结果。创建的Topic的读队列数和写队列数取值为默认Topic（“TBW102”）的读队列数和Produce端设置的队列数的最小值。 不能保证所有的Broker上都能注册该Topic。Broker创建了新的Topic后，新的Topic信息马上被同步给了Namesrv，然后其他的Producer也刚好都从Namesrv同步了该Topic的路由信息，则接下来所有的Producer都只会向这一个Broker发送消息，其他Broker也就不会再有机会创建新Topi
RocketMQ5.0 Cluster集群部署详解及测试
希的博客
02-15 1055
MQ）是一种跨进程的通信机制，用于传递消息。通俗点说，就是一个先进先出的数据结构MQ的应用场景异步解耦最常见的一个场景是用户注册后，需要发送注册邮件和短信通知，以告知用户注册成功。用户才能使用账号登录。但是对于用户来说，注册功能实际只需要注册系统存储用户的账户信息后，该用户便可以登录，而后续的注册短信和邮件不是即时需要关注的步骤。所以实际当数据写入注册系统后，注册系统就可以把其他的操作放入对应的消息队列 MQ中然后马上返回用户结果，由消息队列 MQ异步地进行这些操作。
linux rocketmq集群,二、RocketMQ入门（集群模式搭建与测试）
weixin_34433661的博客
05-14 561
我们在博文：一、RocketMQ入门(单机安装、控制台、SpringBoot整合)大概了解了啥是RocketMQ，以及对它进行单机部署，但是RocketMQ一般都是集群搭建的，很少单机的，所以我们在这一篇博文就从0开始搭建一个集群环境，当然这里也不用去考虑太多的原理性东西先。一、RocketMQ物理部署结构图由图可知，RocketMQ 最适合的集群搭建模式就是多主多备的模式，这样子可以保证数据的备...
rocketmq集群搭建
10-17
好的，关于 RocketMQ 集群搭建，一般可以分为以下几个步骤： 1. 下载 RocketMQ 的压缩包，并解压到指定目录。 2. 修改配置文件，包括 namesrv 的配置和 broker 的配置。 3. 启动 namesrv 和 broker。 4. 配置集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值