rockermq主从部署（docker）

最新推荐文章于 2024-04-30 17:20:00 发布
最新推荐文章于 2024-04-30 17:20:00 发布
阅读量608 收藏 6
点赞数 13
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lh1121___/article/details/137955085
版权

 （1）架构图

 

（2）主机一部署a-master和b-slave节点

docker-compose.yml

version: '2'
services:
  #Service for nameserver
  namesrv:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqnamesrv-a
#    network_mode: "host"
    environment:
      - JAVA_OPT_EXT=-server -Xms256m -Xmx256m -Xmn256m
    ports:
      - 9876:9876
    volumes:
      - /apps/rocketmq/data/namesrv/logs:/home/rocketmq/logs
    command: sh mqnamesrv
  #Service for broker master
  broker-a-master:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqbroker-a-master
    links:
      - namesrv
#    network_mode: "host"
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912
    environment:
      #- NAMESRV_ADDR=namesrv:9876
      #- JAVA_OPT_EXT=-server -Xms2048m -Xmx2048m -Xmn2048m
      - JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn512m
    volumes:
      - /apps/rocketmq/data/broker-a-m/logs:/home/rocketmq/logs
      - /apps/rocketmq/data/broker-a-m/store:/home/rocketmq/store
      #- ./data/broker/conf/broker.conf:/opt/rocketmq-ROCKETMQ_VERSION/conf/broker.conf
      - ./broker-a-m.conf:/opt/rocketmq-4.9.3/conf/broker.conf
    command: sh mqbroker -c /opt/rocketmq-4.9.3/conf/broker.conf
  #Service for broker slave
  broker-b-slave:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqbroker-b-slave
    links:
      - namesrv
#    network_mode: "host"
    ports:
      - 10919:10919
      - 10921:10921
      - 10922:10922
    environment:
      #- NAMESRV_ADDR=namesrv:9876
      #- JAVA_OPT_EXT=-server -Xms2048m -Xmx2048m -Xmn2048m
      - JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn512m
    volumes:
      - /apps/rocketmq/data/broker-b-s/logs:/home/rocketmq/logs
      - /apps/rocketmq/data/broker-b-s/store:/home/rocketmq/store
      #- ./data/broker/conf/broker.conf:/opt/rocketmq-ROCKETMQ_VERSION/conf/broker.conf
      - ./broker-b-s.conf:/opt/rocketmq-4.9.3/conf/broker.conf
    command: sh mqbroker -c /opt/rocketmq-4.9.3/conf/broker.conf
  #Service for dashboard
  rmqconsole:
    image: rocketmq-dashboard:latest
    container_name: rmqconsole
    ports:
      - 8088:8080
    environment:
      - NAMESRV_ADDR=172.16.20.66:9876;172.16.20.71:9876
a-mater
brokerClusterName = rocketmq-cluster
#brokerName = broker-a-master
# 主从名称要保持一致
brokerName = broker-a
# 主从ID要保持唯一 建议master为0 slave为1
brokerId = 0
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
# 指定broker要监听的网卡ip地址
brokerIP1 = 172.16.16.56
# master 节点用于连接到slave节点同步数据的ip
brokerIP2 = 172.16.16.55
deleteWhen = 04
fileReservedTime = 48
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.16.16.55:9876;172.16.16.56:9876
#自动创建topic
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10911
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#brokerRole=ASYNC_MASTER
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
#flushDiskType=ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#修改线程
sendMessageThreadPoolNums: 8
##发送消息是否使用可重入锁
useReentrantLockWhenPutMessage: true
b-slave
brokerClusterName = rocketmq-cluster
#brokerName = broker-b-slave
# 主从名称要保持一致
brokerName = broker-b
# 主从ID要保持唯一 建议master为0 slave为1
brokerId = 1
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
# 指定broker要监听的网卡ip地址
# slave broke ip
brokerIP1 = 172.16.16.56
deleteWhen = 04
fileReservedTime = 48
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.16.16.55:9876;172.16.16.56:9876
#自动创建topic
#autoCreateTopicEnable=true
autoCreateTopicEnable=true
#Broker 对外服务的监听端口 采用容器在本机部署需要修改端口
listenPort = 10921
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#brokerRole=ASYNC_MASTER
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
#flushDiskType=ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#修改线程
sendMessageThreadPoolNums: 8
##发送消息是否使用可重入锁
useReentrantLockWhenPutMessage: true

（3）主机二部署b-master和a-slave

docker-compose.yml

version: '2'
services:
  #Service for nameserver
  namesrv:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqnamesrv-a
#    network_mode: "host"
    environment:
      - JAVA_OPT_EXT=-server -Xms256m -Xmx256m -Xmn256m
    ports:
      - 9876:9876
    volumes:
      - /apps/rocketmq/data/namesrv/logs:/home/rocketmq/logs
    command: sh mqnamesrv
  #Service for broker master
  broker-a-master:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqbroker-a-master
    links:
      - namesrv
#    network_mode: "host"
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912
    environment:
      #- NAMESRV_ADDR=namesrv:9876
      #- JAVA_OPT_EXT=-server -Xms2048m -Xmx2048m -Xmn2048m
      - JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn512m
    volumes:
      - /apps/rocketmq/data/broker-a-m/logs:/home/rocketmq/logs
      - /apps/rocketmq/data/broker-a-m/store:/home/rocketmq/store
      #- ./data/broker/conf/broker.conf:/opt/rocketmq-ROCKETMQ_VERSION/conf/broker.conf
      - ./broker-a-m.conf:/opt/rocketmq-4.9.3/conf/broker.conf
    command: sh mqbroker -c /opt/rocketmq-4.9.3/conf/broker.conf
  #Service for broker slave
  broker-b-slave:
    image: apacherocketmq/rocketmq:4.9.3-alpine
    container_name: rmqbroker-b-slave
    links:
      - namesrv
#    network_mode: "host"
    ports:
      - 10919:10919
      - 10921:10921
      - 10922:10922
    environment:
      #- NAMESRV_ADDR=namesrv:9876
      #- JAVA_OPT_EXT=-server -Xms2048m -Xmx2048m -Xmn2048m
      - JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn512m
    volumes:
      - /apps/rocketmq/data/broker-b-s/logs:/home/rocketmq/logs
      - /apps/rocketmq/data/broker-b-s/store:/home/rocketmq/store
      #- ./data/broker/conf/broker.conf:/opt/rocketmq-ROCKETMQ_VERSION/conf/broker.conf
      - ./broker-b-s.conf:/opt/rocketmq-4.9.3/conf/broker.conf
    command: sh mqbroker -c /opt/rocketmq-4.9.3/conf/broker.conf
  #Service for dashboard
  rmqconsole:
    image: rocketmq-dashboard:latest
    container_name: rmqconsole
    ports:
      - 8088:8080
    environment:
      - NAMESRV_ADDR=172.16.20.66:9876;172.16.20.71:9876
b-master
brokerClusterName = rocketmq-cluster
#brokerName = broker-b-master
# 主从名称要保持一致
brokerName = broker-b
# 主从ID要保持唯一 建议master为0 slave为1
brokerId = 0
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
brokerIP1 = 172.16.16.55
# master 节点用于连接到slave节点同步数据的ip
brokerIP2 = 172.16.16.56
deleteWhen = 04
fileReservedTime = 48
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.16.16.55:9876;172.16.16.56:9876
#自动创建topic
autoCreateTopicEnable=true
#Broker 对外服务的监听端口,
listenPort = 10911
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#brokerRole=ASYNC_MASTER
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
#flushDiskType=ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#修改线程
sendMessageThreadPoolNums: 8
##发送消息是否使用可重入锁
useReentrantLockWhenPutMessage: true
a-slave
brokerClusterName = rocketmq-cluster
#brokerName = broker-a-slave
# 主从名称要保持一致
brokerName = broker-a
# 主从ID要保持唯一 建议master为0 slave为1
brokerId = 1
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网。
# 指定broker要监听的网卡ip地址
# slave broke ip
brokerIP1 = 172.16.16.55
deleteWhen = 04
fileReservedTime = 48
# 内网的(阿里云有内网IP和外网IP)
namesrvAddr=172.16.16.55:9876;172.16.16.56:9876
#自动创建topic
#autoCreateTopicEnable=true
autoCreateTopicEnable=true
#Broker 对外服务的监听端口 采用容器在本机部署需要修改端口
listenPort = 10921
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
#brokerRole=ASYNC_MASTER
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
#flushDiskType=ASYNC_FLUSH
flushDiskType=SYNC_FLUSH
#修改线程
sendMessageThreadPoolNums: 8
##发送消息是否使用可重入锁
useReentrantLockWhenPutMessage: true

(4)在两台主机创建目录并授权

#node1 创建目录 并授权 用户为3000
mkdir -pv /apps/rocketmq/data/namesrv/logs \
/apps/rocketmq/data/broker-a-m/logs \
/apps/rocketmq/data/broker-a-m/store \
/apps/rocketmq/data/broker-b-s/logs \
/apps/rocketmq/data/broker-b-s/store \
chown -R    3000:3000 /apps/rocketmq/data/
#node2 创建目录 并授权 用户为3000
mkdir -pv /apps/rocketmq/data/namesrv/logs \
/apps/rocketmq/data/broker-b-m/logs \
/apps/rocketmq/data/broker-b-m/store \
/apps/rocketmq/data/broker-a-s/logs \
/apps/rocketmq/data/broker-a-s/store \
chown -R    3000:3000 /apps/rocketmq/data/
#也可以先启动容器 容器会自动创建目录 但应用无法启动 修改用户和组后在启动容器即正常
docker-compose up -d启动

（5）验证

#进去broker容器
docker exec -it rmqbroker-a sh
#建议设置为nameserver地址 不建议设置为 localhost
export NAMESRV_ADDR=127.0.0.1:9876  
#写入数据
sh  tools.sh org.apache.rocketmq.example.quickstart.Producer
#消费数据
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

搬砖两年半
关注
  • 13
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
redis主从-docker搭建
08-01
redis主从—docker搭建
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3118
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
RocketMq-主从集群搭建
别浪
06-01 1928
复制5.1内容,修改brokerName=broker-a 为brokerName=broker-b即可。复制5.2内容,修改brokerName=broker-a 为brokerName=broker-b即可。下面配置只在node1节点上预先配置好。标题描述为该配置文件在那台服务器上使用。###broker名字，名字一样的节点就是一组主从节点。##broker名字，名字一样的节点就是一组主从节点。###所属集群名字，名字一样的节点就在同一个集群内。##所属集群名字，名字一样的节点就在同一个集群内。
使用docker创建rocketMQ主从结构，使用
weixin_43561432的博客
04-30 474
显示此界面，表明运行成功。
RocketMQ 主从搭建
daiyuenlong110的博客
01-18 4321
1、多种集群模式讲解 1.1、单节点 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 1.2、主从(异步、同步双写) : 优点：同步双写消息不丢失(把消息写入master和slave), 异步复制存在少量丢失 (把数据写入master，master把数据复制到slave)，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短暂消息延迟，毫秒级，目前不支持自动切换，需要脚本或者其他程序进行检测然后进行停止broker,重启让从节点成为主
RocketMQ多Master多Slave模式部署
weixin_34342992的博客
09-12 289
每个 Master 配置一个 Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用返回成功。 优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。 ### 先启动 NameServer...
RocketMQ集群部署
weixin_43941593的博客
06-09 2484
两台服务器，每台一个nameserver构成集群，broker集群双主双从。主机 容器名称 IP 与宿主机的端口映射两个宿主机上都有docker，并且创建了网桥docker-br0。
RocketMQ双主双从环境搭建
weixin_39710170的博客
05-10 1353
这样当需要增加topic时就需要在web管理界面上#添加即可。#设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）mkdir /data/public/rocketmq/slave/store/consumequeue:类似于数据库索引的文件结构，
mysql5.7 主从配置docker配置文件
03-21
该配置文件可以直接放置到目录下，使用docker-compose up -d启动使用。 其中server_id=XX不能重复 在master中执行： grant replication slave,replication client on *.* to 'user1'@'%' identified by '1'; ...
Linux部署docker参考文档
03-27
本人之前在Linux部署docker的时候总结出来的一份教程文档，可供学习docker的朋友们参考学习
部署docker仓库harbor
03-13
部署docker仓库harbor的脚本
RoketMQ主从搭建
dj1955的博客
03-16 475
【代码】RoketMQ主从搭建。
Apache RocketMQ docker单机部署以及docker高可用部署方案
weixin_43784341的博客
06-29 2124
3、在消息生产者和消费者的配置中，指定多个可用的Namesrv地址。这样，当一个Namesrv容器不可用时，客户端可以连接到其他可用的Namesrv容器。3、启动Namesrv容器： 创建一个Namesrv容器，负责管理Broker的元数据信息。2、创建网络： 在Docker中创建一个网络，用于RocketMQ容器之间的通信。在高可用部署中，你需要创建多个Namesrv和Broker容器，并配置它们之间的主从关系。1、创建多个Namesrv容器，配置它们为互相的主从关系，确保元数据信息的冗余和高可用性。
RocketMQ双主双从搭建
认知 行动 坚持
01-08 810
runbroker.sh,runserver.sh启动参数默认对jvm的堆内存设置比较大(不改启动不起来)，如果是虚拟机非线上环境需要改下参数，大小可以根据自己机器来决定。因为rocketmq是java开发的，所以通过jps命令查看namesrv有没有启动，当然通过日志文件也可以，namesrv正常启动之后，后续再分别启动Broker。#替换*.xml文件中的{user.home}为自己指定的目录。#设置 rocketmq 环境变量。另外一台机器也是这样配置。#设置jdk环境变量。4、修改日志配置文件。
RocketMQ环境搭建及主从的搭建
qq_40597878的博客
05-29 1694
RocketMQ环境搭建 1.下载源码包 地址 http://rocketmq.apache.org/docs/quick-start/ unzip rocketmq-all-4.4.0-source-release.zip cd rocketmq-all-4.4.0/ mvn -Prelease-all -DskipTests clean install -U cd...
分布式事物【RocketMQ事务消息、Docker安装 RocketMQ、实现订单微服务、订单微服务业务层实现】(八)-全面详解（学习总结---从入门到深化）
07-13 942
分布式事物【RocketMQ事务消息、Docker安装 RocketMQ、实现订单微服务、订单微服务业务层实现】(八)-全面详解（学习总结---从入门到深化）
docker 搭建 rocketmq
红桃峰峰 的博客
09-01 1257
docker 搭建 rocketmq
Docker安装RocketMQ详细教程
热门推荐
咸鱼想睡觉
10-25 2万+
Docker安装RocketMQ详细教程
redis主从复制 docker
最新发布
05-08
使用Docker可以方便地搭建Redis主从复制环境，提供更加灵活的部署方式。 具体来说，在Docker中部署Redis主从复制需要以下步骤： 1. 拉取Redis镜像：可以通过docker pull redis命令来拉取Redis镜像。 2. 启动主...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值