【RocketMQ、Docker】Docker 安装 RocketMQ-4.9.3：主从集群

最新推荐文章于 2024-08-29 22:07:14 发布
最新推荐文章于 2024-08-29 22:07:14 发布
阅读量642 收藏 3
点赞数
分类专栏： RocketMQ Docker 文章标签： docker java 容器 RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/apple_csdn/article/details/125284438
版权
本文档详细介绍了如何使用Docker在单台和两台服务器上部署RocketMQ的一主一从配置。包括配置broker.conf文件，设置主从角色，创建和启动Docker容器等步骤，并强调了主从同步的关键参数和注意事项，如brokerIP1和brokerIP2的配置。
摘要由CSDN通过智能技术生成

一、一主一从（同一台服务器）

Broker搭建（主-10.101.68.203）

1、创建挂载的目录
在这里插入图片描述
2、使用Docker命令复制Name Server服务中得Broker配置。
docker cp 容器ID:容器内文件位置 本地位置

docker cp 55a0480ec59d:/home/rocketmq/rocketmq-4.9.3/conf /home/docker/mount/rocketmq/broker/broker-a/

3、修改conf中的broker.conf文件

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = SYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = SYNC_FLUSH
# 设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这种，主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1 = 10.101.68.203
#nameServer地址，分号分割
namesrvAddr=10.101.68.203:9876
#Broker 对外服务的监听端口,
listenPort = 10911
#是否允许Broker自动创建Topic
autoCreateTopicEnable = true
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = true
#linux开启epoll
useEpollNativeSelector = true

#数据存放的根目录
#storePathRootDir = /root/store/path
#commit log保存目录
#storePathCommitLog = /root/store/path/commitlog
#消费队列存储路径存储路径
#storePathConsumerQueue = /root/store/path/consumequeue

slaveReadEnable = true

rocketmq默认配置和解释(详细版)
4、创建容器

docker run -d --name rocketmq-broker-a --network rocketmq -p 10909:10909 -p 10911:10911 -v /home/docker/mount/rocketmq/broker/broker-a/logs:/root/logs -v /home/docker/mount/rocketmq/broker/broker-a/store:/root/store -v /home/docker/mount/rocketmq/broker/broker-a/conf:/home/rocketmq/rocketmq-4.9.3/conf apache/rocketmq:4.9.3 sh mqbroker -c /home/rocketmq/rocketmq-4.9.3/conf/broker.conf

5、创建成功
在这里插入图片描述

Broker搭建（从-10.101.68.203）

1、创建挂载的目录
在这里插入图片描述
2、使用Docker命令复制Name Server服务中得Broker配置。
docker cp 容器ID:容器内文件位置 本地位置

docker cp 55a0480ec59d:/home/rocketmq/rocketmq-4.9.3/conf /home/docker/mount/rocketmq/broker/broker-a-s/

3、修改conf中的broker.conf文件

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 1
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = SLAVE
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = SYNC_FLUSH
# 设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这种，主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1 = 10.101.68.203
#nameServer地址，分号分割
namesrvAddr=10.101.68.203:9876
#Broker 对外服务的监听端口,
listenPort = 11911
#是否允许Broker自动创建Topic
autoCreateTopicEnable = true
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = true
#linux开启epoll
useEpollNativeSelector = true

#数据存放的根目录
#storePathRootDir = /root/store/path
#commit log保存目录
#storePathCommitLog = /root/store/path/commitlog
#消费队列存储路径存储路径
#storePathConsumerQueue = /root/store/path/consumequeue

slaveReadEnable = true

rocketmq默认配置和解释(详细版)
4、创建容器

docker run -d --name rocketmq-broker-a-s --network rocketmq -p 11909:10909 -p 11911:11911 -v /home/docker/mount/rocketmq/broker/broker-a-s/logs:/root/logs -v /home/docker/mount/rocketmq/broker/broker-a-s/store:/root/store -v /home/docker/mount/rocketmq/broker/broker-a-s/conf:/home/rocketmq/rocketmq-4.9.3/conf apache/rocketmq:4.9.3 sh mqbroker -c /home/rocketmq/rocketmq-4.9.3/conf/broker.conf

5、创建成功
在这里插入图片描述
在这里插入图片描述

二、一主一从（两台服务器）

Broker搭建（主-10.101.68.203）

1、创建挂载的目录
在这里插入图片描述
2、使用Docker命令复制Name Server服务中得Broker配置。
docker cp 容器ID:容器内文件位置 本地位置

docker cp 55a0480ec59d:/home/rocketmq/rocketmq-4.9.3/conf /home/docker/mount/rocketmq/broker/broker-a/

3、修改conf中的broker.conf文件

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = SYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = SYNC_FLUSH
# 设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这种，主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1 = 10.101.68.203
#brokerIP2 = 10.101.68.203
#nameServer地址，分号分割
namesrvAddr=10.101.68.203:9876
#Broker 对外服务的监听端口,
listenPort = 10911
#是否允许Broker自动创建Topic
autoCreateTopicEnable = true
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = true
#linux开启epoll
useEpollNativeSelector = true

#数据存放的根目录
#storePathRootDir = /root/store/path
#commit log保存目录
#storePathCommitLog = /root/store/path/commitlog
#消费队列存储路径存储路径
#storePathConsumerQueue = /root/store/path/consumequeue

slaveReadEnable = true

rocketmq默认配置和解释(详细版)
4、创建容器，端口映射需增加10912

docker run -d --name rocketmq-broker-a --network rocketmq -p 10909:10909 -p 10911:10911 -p 10912:10912 -v /home/docker/mount/rocketmq/broker/broker-a/logs:/root/logs -v /home/docker/mount/rocketmq/broker/broker-a/store:/root/store -v /home/docker/mount/rocketmq/broker/broker-a/conf:/home/rocketmq/rocketmq-4.9.3/conf apache/rocketmq:4.9.3 sh mqbroker -c /home/rocketmq/rocketmq-4.9.3/conf/broker.conf

5、创建成功
在这里插入图片描述

Broker搭建（从-10.101.68.204）

1、创建挂载的目录
在这里插入图片描述
2、复制主Broker的conf文件的内容到从Broker的conf中
在这里插入图片描述

3、修改conf中的broker.conf文件

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 1
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = SLAVE
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；
flushDiskType = SYNC_FLUSH
# 设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这种，主节点需要配置ip1和ip2，从节点只需要配置ip1即可）
brokerIP1 = 10.101.68.204
#nameServer地址，分号分割
namesrvAddr=10.101.68.203:9876
#Broker 对外服务的监听端口,
listenPort = 10911
#是否允许Broker自动创建Topic
autoCreateTopicEnable = true
#是否允许 Broker 自动创建订阅组
autoCreateSubscriptionGroup = true
#linux开启epoll
useEpollNativeSelector = true

#数据存放的根目录
#storePathRootDir = /root/store/path
#commit log保存目录
#storePathCommitLog = /root/store/path/commitlog
#消费队列存储路径存储路径
#storePathConsumerQueue = /root/store/path/consumequeue

slaveReadEnable = true

rocketmq默认配置和解释(详细版)
4、创建容器

docker run -d --name rocketmq-broker-a-s -p 10909:10909 -p 10911:10911  -v /home/docker/mount/rocketmq/broker/broker-a-s/logs:/root/logs -v /home/docker/mount/rocketmq/broker/broker-a-s/store:/root/store -v /home/docker/mount/rocketmq/broker/broker-a-s/conf:/home/rocketmq/rocketmq-4.9.3/conf apache/rocketmq:4.9.3 sh mqbroker -c /home/rocketmq/rocketmq-4.9.3/conf/broker.conf

5、创建成功
在这里插入图片描述
在这里插入图片描述

注意

1、如果数据不同步，做以下操作：

2、主从的brokerClusterName、brokerName需要一致。
3、多主多从类似，故不做过多演示，如果有问题，欢迎留言，协助解决。
4、需要注意brokerIP1、brokerIP2、namesrvAddr等参数的修改。

三、相关推荐

【部署】【三】RocketMQ 单节点主从(n1m1s1) Docker 部署
Docker 搭建RocketMQ一主一从，故障演练踩坑，从节点没有同步主节点数据，IP1,IP2
RocketMQ在顺序消费模式下从broker不会消费消息
rocketmq默认配置和解释(详细版)
【RocketMQ】详解如何搭建一个多主多从的RocketMQ集群
https://blog.csdn.net/m0_49962289/article/details/123507560

apple_csdn
关注
专栏目录
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
RocketMQ集群搭建记录（三主三从）
wulitaotao96的博客
04-30 2825
一、方案目标： - 三主三从 - 异步同步消息 - 异步刷盘 二、机器信息： 共三台机器，每台上分别布有一台主从。 如下： 机器1 broker-a broker-b-s 机器2 broker-b broker-c-s 机器3 broker-c broker-a-s 三、搭建步骤： 1 上传解压，新建目录 上传压缩包至 /tmp，解压到/usr/local unzip 压缩包名(rocketXXXX)...
docker安装rocketmq
changgongzhao的专栏
07-12 649
docker rocketmq
RocketMQ部署单机版及集群版本(Docker部署)
最新发布
StaticKing的博客
08-29 1179
废话不多直接上干货，我负责踩坑，你负责指导。
docker安装RocketMQ4.9.3多副本集群搭建
Emmien的博客
03-05 561
docker搭建RocketMQ4.9.3多副本集群搭建(无坑版)
【RocketMQ、Docker】Docker 安装 RocketMQ-4.9.3：DLedger多副本集群
apple_csdn的博客
06-15 739
Docker 已安装 RocketMQ-4.9.3相关服务。 安装教程：【RocketMQ、Docker】Docker 安装 RocketMQ-4.9.3文档介绍 1、创建三个目录 2、初始化每个目录的conf配置，55a0480ec59d为NameServer的容器id 3、修改broker-dledger0/conf/broker.conf文件 4、修改broker-dledger0/conf/broker.conf文件 5、修改broker-dledger0/conf/broker.conf文件 6
Rocketmq 4.2.0 基于Docker构建镜像
ESSE的博客
08-07 2195
Rocketmq 4.2.0 基于Docker构建镜像 一：环境准备： Centos7，Dokcer18.03.1-ce 官方项目地址:https://github.com/apache/incubator-rocketmq-externals 里面有rocketmq的docker运行文档 二：克隆官方项目到本地宿主机： git clone https://github.c...
xmljava系统源码-docker-nacos-sentinel-rocketmq-rabbitmq:docker-nacos-sentin
06-06
docker-nacos-sentinel-rocketmq-rabbitmq docker-nacos-sentinel-rocketmq-rabbitmq nacos 注册发现服务中心 sentinel 熔断；分布式系统的流量防卫兵；Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载...
rocketmq控制台最新版rocketmq-dashboard-1.0.1-SNAPSHOT.jar
06-15
dockerhub的镜像是几年前的了，特意打包了一个最新版分享
最新版 rocketmq-all-4.9.1-bin-release.zip
09-14
9. **集群部署**：在大规模部署中，RocketMQ支持集群部署，通过NameServer的动态路由，可以方便地扩展和调整集群规模。 10. **事务消息**：RocketMQ支持分布式事务，能够保证全局事务的一致性，适用于如电商订单等...
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
Docker部署RocketMQ集群
zranfly
07-23 1061
Docker部署RocketMQ集群
docker-compose部署roketmq三组主从集群节点
云深海阔专栏
01-24 867
A、broker节点部署 1、所有的目录结构 . ├── conf │ ├── broker-a-m-1.conf │ ├── broker-a-s-1.conf │ ├── broker-a-s-2.conf │ ├── broker-b-m-1.conf │ ├── broker-b-s-1.conf │ ├── broker-b-s-2.conf │ ├── broker-c-m-1.conf │ ├── broker-c-s-1.conf │ └── broker
RocketMQ——单主部署、一主一从部署、双主双从部署
哈喽羊
04-24 5111
一.RocketMQ单机部署 Hosts添加信息 我们首先进入/etc/hosts来添加信息 vim /etc/hosts 添加信息如下： 上传解压安装包 通过XFTP工具将apache-rocketmq.tar.gz传到/usr/local/software 然后添加/usr/local/apache-rocketmq目录，再将apache-rocketmq....
RocketMQ三主三从二命名服务平滑版本升级实操
dianhe7741的博客
04-24 877
​本文介绍本次进行RocketMQ平滑过渡升级的实际操作 前文已经介绍过了升级基本原理，主要思想就是先升级NameSrv（命名服务）然后在升级broker节点。broker节点先升级master节点然后再升级slave节点。 我们先看下RocketMQ架构图 这里介绍实际操作是怎么样。 首先介绍我们使用RocketMQ实际架设的情况。 主机一共6台分别是： ...
Docker安装多主多备rocketMQ集群
weixin_32822759的博客
07-09 388
docker下安装rocketmq集群
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 944
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
RocketMQ docker集群搭建多Master多Slave模式
CodingAnHour
07-06 656
每个Master配置一个Slave，有多对Master-Slave，HA（双机集群）采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；缺点：Master宕机，磁盘损坏情况下会丢失少量消息。安装模块NameServer是一个非常简单的，其角色类似Dubbo中的zookeeper，。主要包括两个功能：Br
Docker部署Redis集群，3台ECS 三主三从
出门骑着猪的博客
03-18 1477
前言 网上这类文章太多了，很多小伙伴都可以搜索来参考着部署，在一台机器上部署，或者在多台机器上部署都一样，不过细节还是有很多差别的，比如 Waiting for the cluster to join 这些问题，而且对于中小企业，可以用于生产环境的集群部署，也各不相同。那么这篇文章就是记录一下 在3台阿里云ECS上，利用docker 部署6个redis（三主三从）的方法（当然你也可以6台机器部署6个Redis，具体看成本 ）。 文章中关于docker命令、redis 命令、redis配置文件含义，为什么是
RocketMQ Docker 环境安装指南：一步一步手把手教你
6. 在容器中安装 Rocket MQ，使用以下命令：docker run -it --rm -p 9876:9876 rocketmq:latest 7. 等待安装完成，安装完成后，我们可以使用 Rocket MQ 的管理 dashboard。 配置 Rocket MQ 1. 使用以下命令，启动 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值