二、使用DockerCompose部署RocketMQ

已于 2023-10-16 11:23:53 修改
阅读量752 收藏 3
点赞数 5
分类专栏： RocketMQ 文章标签： rocketmq docker
于 2023-10-12 11:31:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HueyLong/article/details/133787197
版权

使用DockerCompose进行部署

docker-compose的版本为 Docker Compose version v2.2.3

RocketMQ的部署方式以及各自的特点

  • 单master模式

    只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。

  • 多master模式

    和kafka不一样，RocketMQ中并没有 master 选举功能，在RocketMQ集群中，1台机器只能要么是Master，要么是Slave，这个在初始的机器配置里面，就定死了的。

    不会像kafka那样存在master动态选举，所以通过配置多个master节点来保证RocketMQ的高可用。

    多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。

    **优点：**高可用，所有模式中性能最高

    **缺点：**可能会有少量消息丢失（配置相关），单台机器重启或宕机期间，该机器下未被消费的消息在机器恢复前不可订阅，影响消息实时性

    **注意：**使用同步刷盘可以保证消息不丢失，同时 Topic 相对应的 queue 应该分布在集群中各个 master节点，而不是只在某各 master 节点上，否则，该节点宕机会对订阅该 topic 的应用造成影响。

  • 多master多slave异步复制模式

    在多 master 模式的基础上，每个 master 节点都有至少一个对应的 slave。

    master 节点可读可写，但是 slave 只能读不能写，类似于 mysql 的主备模式。

    优点： 在 master 宕机时，消费者可以从 slave 读取消息，消息的实时性不会受影响，性能几乎和多 master 一样。

    **缺点：**使用异步复制的同步方式有可能会有消息丢失的问题。

  • 多master多slave 同步复制模式

    同多 master 多 slave 异步复制模式类似，区别在于 master 和 slave 之间的数据同步方式。

    **优点：**同步双写的同步模式能保证数据不丢失。

    **缺点：**发送单个消息 RT 会略长，性能相比异步复制低10%左右。

    **刷盘策略：**同步刷盘和异步刷盘（指的是节点自身数据是同步还是异步存储）

    注意：要保证数据可靠，需采用同步刷盘和同步双写的方式，但性能会较其他方式低。

单Master模式进行部署

部署列表

组件端口数量
nameserver98761
master10911、109121
rocketmq-console90011

配置文件

broker.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-strand
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
#一天删除一次文件的操作，代表凌晨四点进行删除
deleteWhen = 04
#在磁盘上保存消息的时长  48小时
fileReservedTime = 48
# 当前broker所处的角色
brokerRole = ASYNC_MASTER
# 磁盘的刷新方式
flushDiskType = ASYNC_FLUSH
# namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10911

#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

DockerCompose部署文件

version: '3.5'
services:
 nameserver-stand:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: nameserver-stand
  ports: 
   - 9876:9876
  environment:
    TZ: Asia/Shanghai
    JAVA_OPTS: "-Duser.home=/opt"
    JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      
  volumes:
   - ./nameserver/logs:/home/rocketmq/logs
   - ./nameserver/store:/home/rocketmq/store
  command: sh mqnamesrv
  networks:
   rmq:
    aliases:
     - nameserver
 broker-stand:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: broker-stand
  user:
   root:root
  ports:
   - 10911:10911
   - 10912:10912
  depends_on:
   - nameservera
  volumes:
   - ./broker/logs:/root/logs
   - ./broker/store:/root/store
   - ./broker/conf/broker.conf:/opt/rocketmq-4.6.0/conf/broker.conf
  environment:
   TZ: Asia/Shanghai
   NAMESRV_ADDR: "nameserver:9876"
   JAVA_OPTS: "-Duser.home=/opt"
   JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" 
  command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &
  links:
   - nameserver:nameserver
  networks:
   rmq:
    aliases:
     - rmqbroker
 rmqconsole-stand:
  image: styletang/rocketmq-console-ng
  container_name: rmqconsole-stand
  ports:
   - 9001:9001
  environment:
    TZ: Asia/Shanghai
    JAVA_OPTS: "-Duser.home=/opt"
    JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      
  environment:
   JAVA_OPTS: "-Drocketmq.namesrv.addr=172.16.15.220:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Dserver.port=9001" 
  networks:
   rmq:
    aliases:
     - rmqconsole
networks:
 rmq:
  name: rmq
  driver: bridge

多Master多Slave的Async形式部署

部署列表

组件角色端口个数
nameserver注册中心9876、98772
master-a主节点a10911、109121
slave-1-a主节点a的从节点10921、109221
master-b主节点b10931、109321
slave-1-b主节点b的从节点10941、109421

配置文件

搭建集群模式，需要注意以下配置文件的配置项

  • brokerName：将各个master进行区分，名称一样的master和slave归属一类

  • brokerId：master与slave区分，为0代表master，>0代表slave

  • brokerRole：代表master与slave之间的数据传输方式，以及定位该broker是否为slave

    ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；从节点必须配置为SLAVE

  • master-a.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
# 控制master与slave的通信模式，ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；SLAVE 表示从节点
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10911

#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • slave-1-a.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-a
brokerId = 1
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10921

#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • master-b.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 0
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
# 控制master与slave的通信模式，ASYNC_MASTER 异步复制；SYNC_MASTER 同步复制；SLAVE 表示从节点
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10931

#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

  • slave-1-b.conf

    brokerClusterName = rocketmq-cluster
brokerName = broker-b
brokerId = 1
#当前 broker 监听的 IP，broker所在宿主机的IP
brokerIP1 = 172.16.15.220
deleteWhen = 04
fileReservedTime = 48
brokerRole = SLAVE
flushDiskType = ASYNC_FLUSH
#namesrvAddr的地址
namesrvAddr = 172.16.15.220:9876;172.16.15.220:9877
autoCreateTopicEnable = true
#接受客户端连接的监听端⼝，要跟后面docker-compose.yml中的ports配置匹配
listenPort = 10941

#haListenPort
#haListenPort是haService中使用
#默认值为：listenPort + 1

DockerCompose部署文件参考

version: '3.5'
services:
 nameserver-a:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: nameserver-a
  ports: 
   - 9876:9876
  environment:
    TZ: Asia/Shanghai
    JAVA_OPTS: "-Duser.home=/opt"
    JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      
  volumes:
   - ./nameserver-a/logs:/home/rocketmq/logs
   - ./nameserver-a/store:/home/rocketmq/store
  command: sh mqnamesrv
  networks:
   rmq-cluster:
    aliases:
     - nameserver-a
 nameserver-b:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: nameserver-b
  ports: 
   - 9877:9876
  volumes:
   - ./nameserver-b/logs:/home/rocketmq/logs
   - ./nameserver-b/store:/home/rocketmq/store
  command: sh mqnamesrv
  environment:
    TZ: Asia/Shanghai
    JAVA_OPTS: "-Duser.home=/opt"
    JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      
  networks:
   rmq-cluster:
    aliases:
     - nameserver-a
 broker-a:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: broker-a
  user:
   root:root
  ports:
   - 10911:10911
   - 10912:10912
  volumes:
   - ./broker-a/logs:/root/logs
   - ./broker-a/store:/root/store
   - ./broker-a/conf/broker-a.conf:/opt/rocketmq-4.6.0/conf/broker.conf
  environment:
   TZ: Asia/Shanghai
   NAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"
   JAVA_OPTS: "-Duser.home=/opt"
   JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" 
  command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &
  links:
   - nameserver-a:nameserver-a
   - nameserver-b:nameserver-b
  networks:
   rmq-cluster:
    aliases:
     - broker-a
 slave-1-a:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: slave-1-a
  user:
   root:root
  ports:
   - 10921:10921
   - 10922:10922
  volumes:
   - ./slave-1-a/logs:/root/logs
   - ./slave-1-a/store:/root/store
   - ./slave-1-a/conf/slave-1-a.conf:/opt/rocketmq-4.6.0/conf/broker.conf
  environment:
   TZ: Asia/Shanghai
   NAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"
   JAVA_OPTS: "-Duser.home=/opt"
   JAVA_OPT_EXT: "-server -Xms128m -Xmx256m" 
  command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &
  links:
   - nameserver-a:nameserver-a
   - nameserver-b:nameserver-b
  networks:
   rmq-cluster:
    aliases:
     - slave-1-a
 broker-b:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: broker-b
  user:
   root:root
  ports:
   - 10931:10931
   - 10932:10932
  volumes:
   - ./broker-b/logs:/root/logs
   - ./broker-b/store:/root/store
   - ./broker-b/conf/broker-b.conf:/opt/rocketmq-4.6.0/conf/broker.conf
  environment:
   TZ: Asia/Shanghai
   NAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"
   JAVA_OPTS: "-Duser.home=/opt"
   JAVA_OPT_EXT: "-server -Xms256m -Xmx512m -Xmn128m"
  command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &
  links: 
   - nameserver-a:nameserver-a
   - nameserver-b:nameserver-b
  networks:
   rmq-cluster:
    aliases:
     - broker-b
 slave-1-b:
  image: apacherocketmq/rocketmq:4.6.0
  container_name: slave-1-b
  user:
   root:root
  ports:
   - 10941:10941
   - 10942:10942
  volumes:
   - ./slave-1-b/logs:/root/logs
   - ./slave-1-b/store:/root/store
   - ./slave-1-b/conf/slave-1-b.conf:/opt/rocketmq-4.6.0/conf/broker.conf
  environment:
   TZ: Asia/Shanghai
   NAMESRV_ADDR: "nameserver-a:9876;nameserver-b:9876"
   JAVA_OPTS: "-Duser.home=/opt"
   JAVA_OPT_EXT: "-server -Xms256m -Xmx512m -Xmn128m"
  command: sh mqbroker -c /opt/rocketmq-4.6.0/conf/broker.conf autoCreateTopicEnable=true &
  links: 
   - nameserver-a:nameserver-a
   - nameserver-b:nameserver-b
  networks:
   rmq-cluster:
    aliases:
     - slave-1-b
 rmqconsole:
  image: styletang/rocketmq-console-ng
  container_name: rmqconsole
  ports:
   - 9001:9001
  environment:
    TZ: Asia/Shanghai
    JAVA_OPTS: "-Duser.home=/opt"
    JAVA_OPT_EXT: "-server -Xms128m -Xmx256m"      
  environment:
   JAVA_OPTS: "-Drocketmq.namesrv.addr=172.16.15.220:9876;172.16.15.220:9877 -Dcom.rocketmq.sendMessageWithVIPChannel=false -Dserver.port=9001" 
  networks:
   rmq-cluster:
    aliases:
     - rmqconsole
networks:
 rmq-cluster:
  name: rmq-cluster
  driver: bridge

部署问题

使用docker部署broker时，启动失败报：253错误码

解决方案：

  1. 使用用户标签：user，将用户指向root
  2. 映射容器存储路径改为：/root/store
默默行路
关注
  • 5
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
在docker上部署rocketmq遇到控制台无法访问的问题解决
qq_28228605的博客
10-26 4877
参考： 基于 Docker 安装 RocketMQ docker部署rocketmq步骤 1.创建docker-compose.yml文件 注意： 启动 RocketMQ Server + Broker + Console 至少需要 2G 内存 version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876.
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
RocketMQ（一）使用docker-compose部署RocketMQ 4.9.4集群
bacawa的博客
05-06 5138
docker-compose部署rocketMQ 4.9.4集群，并做数据持久化
docker compose 部署 rocketmq
chen_peng7的博客
06-13 933
docker compose 部署 rocketmq
docker-compose部署RocketMq
最新发布
Casual_Lei的博客
06-04 734
启动nameServer的mqnamesrv 是个脚本，它会使用runserver.sh启动，在runserver.sh中定义了Jvm内存参数。开放端口9876,10911(borker的端口)，10909(客户端查询具体的数据需要调用的端口，没找到如何设置环境变量，直接开放端口算了)使用vi 修改 runbroker.sh runserver.sh里的jvm内存配置后，打包容器为新镜像。相同的启动borker的mqbroker脚本使用 runbroker.sh，可以修改其中的jvm参数。
docker、docker-compose部署rocketmq4.7.0
aimcode
07-21 360
docker部署rocketmq4.7.0、docker-compose部署rocketmq4.5.2
docker compose安装rocketmq
weixin_44740031的博客
10-20 276
原来 rocketmq broker 默认将会启动三个通讯端口：第一个是 rocketmq broker 配置文件上配置的端口，默认端口为 「10911」，这里我们修改成了 20880。# broker 名字，注意此处不同的配置文件填写的不一样，如果在 broker-a.properties 使用: broker-a,这里仔细看是 false，false，false。# 第三个是 rockemq broker 用户主从数据同步的端口，这个端口将会在第一个端口基础上加 1，即 20881。
rocketMq 的 docker-compose安装包
08-14
在这个“rocketMq 的 docker-compose 安装包”中，我们将探讨如何使用 Docker Compose 部署 RocketMQ。 首先，Docker Compose 配置文件（通常为 `docker-compose.yml`）是定义服务、网络和卷的关键文件。在 ...
RocketMQ-DockerCompose
12-27
这表明项目是关于如何利用Docker Compose来管理和部署RocketMQ的实例，对于熟悉这些技术的开发者来说，这是一个非常实用的资源。 总的来说，"RocketMQ-DockerCompose"项目结合了RocketMQ的高效消息处理能力和Docker...
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。...使用 Docker-Compose 搭建 RocketMQ 集群可以快速部署和管理容器集群，提高了开发效率和灵活性。
Java开发微服务，所需中间件，通过docker-compose编排，一键快速部署运行，小白运维神器
09-15
由于日常开发需要，制作了一款通过jdk8和常用中间件的一键编排工具基于docker-compose进行编排，其中包含OpenJDK1.8,Redis,MySQL,RocketMQ,ElasticSearch,Kibana,Nacos,Clickhouse,Zookeeper 等常用工具，意在为...
docker-compose安装RocketMq教程
felix
06-20 1030
端口说明：docker-compose.yml文件内容 docker-compose.yml中的配置的文件路径对应如下broker.conf路径： 启动： 在/opt/docker/compose/rocketmq 下执行命令： 访问 地址：ip:8180访问成功出现如下：
在一台服务器上用docker-compose双主双从的rocketmq消息队列----rocketmq双主双从模式
m0_60747626的博客
12-07 1040
rocketmq消息队列
使用docker-compose 搭建mqtt服务器
Fuly的博客
09-06 1833
docker 搭建mqtt服务器
Docker-compose部署Rocketmq
一条没有梦想的闲鱼的博客
06-25 635
docker部署rocketmq
RocketMQ 之使用docker-compose安装指南
在IT技术的世界,天天向上↑
05-21 1929
一、确保服务器已经安装了docker,docker compose 查看docker安装情况: 二、部署RocketMq 1,先创建好几个文件夹，用来放日志和配置： cd /usr/local/zxl/rocketmq mkdir rocketmq cd rocketmq mkdir data cd data mkdir logs store brokerconf cd brokerconf vi broker.conf 2, 配置broker.conf内容如下： broke...
一文理解RocketMQ
追梦格林
05-18 1170
通过本文能够比较全面的了解RocketMQ的工作原理，docker-compose搭建RocketMQ集群以及简单的Demo代码
使用docker-compose安装RocketMQ以及RocketMQ-Console
weixin_42979871的博客
02-18 4874
一、安装docker-compose 这里不使用官方链接进行安装，因为会很慢 https://github.com/docker/compose/releases 可以前往官网查看目前最新版，然后下面自行更换 1. curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.0/docker-compose-`unam...
部署rocketmq(含docker部署rocket)
又要搬砖了
08-03 656
部署rocketmq(含docker部署rocketmq) 文章目录部署rocketmq(含docker部署rocketmq)一、用官网下载的zip部署1.部署前准备2.启动rocketmq3.启动rocketmq-console二、使用docker部署1.下载对应的镜像2. 编辑docker的yml文件3.启动服务可能遇到的问题 一、用官网下载的zip部署 1.部署前准备 先去官网下载rocketmq，选好你对应的版本。 下载rocket-console ，选择rocket-consoel这是rock
dockercompose安装rocketmq
04-25
下面是使用Docker Compose安装RocketMQ的步骤： 1. 首先，创建一个名为`docker-compose.yml`的文件，并在其中定义RocketMQ的容器配置。以下是一个示例配置： ```yaml version: '3' services: namesrv: image: ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

默默行路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值