rocketmq docker-compose 单机与同步双写 部署说明

最新推荐文章于 2024-08-13 11:09:25 发布
最新推荐文章于 2024-08-13 11:09:25 发布
阅读量515 收藏
点赞数
分类专栏： 环境配置 文章标签： docker rocketmq 集群部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35530042/article/details/115700531
版权

中文文档 : https://github.com/apache/rocketmq/tree/master/docs/cn

具体broker 配置属性说明 : http://rocketmq.apache.org/docs/rmq-deployment/

本文使用镜像地址 :https://hub.docker.com/r/rocketmqinc/rocketmq

单节点快速体验

vim docker-compose.yml


version: '2'
services:
  namesrv:
    image: rocketmqinc/rocketmq
    container_name: rmqnamesrv
    restart: always
    ports:
      - 9876:9876
    volumes:
      - ./logs:/home/rocketmq/logs
      - ./store:/home/rocketmq/store
    command: sh mqnamesrv
  broker:
    image: rocketmqinc/rocketmq
    container_name: rmqbroker
    restart: always
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912
    volumes:
      - ./logs:/home/rocketmq/logs
      - ./store:/home/rocketmq/store
      - ./conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf
    command: sh mqbroker -n namesrv:9876 -c ../conf/broker.conf
    depends_on:
      - namesrv
    environment:
      - JAVA_HOME=/usr/lib/jvm/jre
  console:
    image: styletang/rocketmq-console-ng
    container_name: rocketmq-console-ng
    restart: always
    ports:
      - 80:8080
    depends_on:
      - namesrv
    environment:
      - JAVA_OPTS= -Dlogging.level.root=info   -Drocketmq.namesrv.addr=rmqnamesrv:9876
      - Dcom.rocketmq.sendMessageWithVIPChannel=false

vim conf/broker-a.conf


brokerName = broker-a  
brokerId = 0  
deleteWhen = 04  
fileReservedTime = 48  
brokerRole = ASYNC_MASTER  
flushDiskType = ASYNC_FLUSH  
# 如果是本地程序调用云主机 mq，这个需要设置成 云主机 IP
brokerIP1=192.168.2.225
namesrvAddr=namesrv-1:9876

docker-compose up 启动

成功之后IP:80访问控制台,可以看到集群以及broker成功

在这里插入图片描述

多主多从 - 同步双写

一样的操作

vim docker-compose.yml


version: '2.3'
services:
  namesrv-1:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 9876:9876
    volumes:
      - "./namesrv-1/logs:/opt/logs"
      - "./namesrv-1/store:/opt/store"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqnamesrv
    environment:
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"
  namesrv-2:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 9877:9876
    volumes:
      - "./namesrv-2/logs:/opt/logs"
      - "./namesrv-2/store:/opt/store"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqnamesrv
    environment:
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"
  namesrv-3:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 9878:9876
    volumes:
      - "./namesrv-3/logs:/opt/logs"
      - "./namesrv-3/store:/opt/store"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqnamesrv
    environment:
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"  



  broker-a-m:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912 
    volumes:
      - "./broker-a-m/logs:/opt/logs"
      - "./broker-a-m/store:/opt/store"
      - "./conf/broker-a-m.conf:/etc/rocketmq/broker.conf"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqbroker -c /etc/rocketmq/broker.conf
    links:
      - namesrv-1:namesrv-1
      - namesrv-2:namesrv-2
      - namesrv-3:namesrv-3
    depends_on:
      - namesrv-1
      - namesrv-2
      - namesrv-3
    environment:
      JAVA_OPTS: " -Duser.home=/opt"
      JAVA_HOME: "/usr/lib/jvm/jre"
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"
  broker-a-s:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 10919:10909
      - 10921:10911 
      - 10922:10912
    volumes:
      - "./broker-a-s/logs:/opt/logs"
      - "./broker-a-s/store:/opt/store"
      - "./conf/broker-a-s.conf:/etc/rocketmq/broker.conf"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqbroker -c /etc/rocketmq/broker.conf 
    links:
      - namesrv-1:namesrv-1
      - namesrv-2:namesrv-2
      - namesrv-3:namesrv-3
    depends_on:
      - namesrv-1
      - namesrv-2
      - namesrv-3
    environment:
      JAVA_OPTS: " -Duser.home=/opt"
      JAVA_HOME: "/usr/lib/jvm/jre" 
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"



  broker-b-m:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 10929:10909
      - 10931:10911
      - 10932:10912 
    volumes:
      - "./broker-b-m/logs:/opt/logs"
      - "./broker-b-m/store:/opt/store"
      - "./conf/broker-b-m.conf:/etc/rocketmq/broker.conf"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqbroker -c /etc/rocketmq/broker.conf
    links:
      - namesrv-1:namesrv-1
      - namesrv-2:namesrv-2
      - namesrv-3:namesrv-3
    depends_on:
      - namesrv-1
      - namesrv-2
      - namesrv-3
    environment:
      JAVA_OPTS: " -Duser.home=/opt"
      JAVA_HOME: "/usr/lib/jvm/jre"
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"
  broker-b-s:
    image: rocketmqinc/rocketmq:4.4.0
    restart: always
    ports:
      - 10939:10909
      - 10941:10911 
      - 10942:10912
    volumes:
      - "./broker-b-s/logs:/opt/logs"
      - "./broker-b-s/store:/opt/store"
      - "./conf/broker-b-s.conf:/etc/rocketmq/broker.conf"
      - /etc/localtime:/etc/localtime:ro
    command: sh mqbroker -c /etc/rocketmq/broker.conf 
    links:
      - namesrv-1:namesrv-1
      - namesrv-2:namesrv-2
      - namesrv-3:namesrv-3
    depends_on:
      - namesrv-1
      - namesrv-2
      - namesrv-3
    environment:
      JAVA_OPTS: " -Duser.home=/opt"
      JAVA_HOME: "/usr/lib/jvm/jre" 
      JAVA_OPT_EXT: "-server -Xms300m -Xmx300m -Xmn150m"

  console:
    image: styletang/rocketmq-console-ng
    restart: always
    ports:
      - 80:8080
    volumes:
      - /etc/localtime:/etc/localtime:ro
    links:
      - namesrv-1:namesrv-1
      - namesrv-2:namesrv-2
      - namesrv-3:namesrv-3
    depends_on:
      - namesrv-1
      - namesrv-2
      - namesrv-3
    environment:
      JAVA_OPTS: -Drocketmq.config.namesrvAddr=namesrv-1:9876;namesrv-2:9877;namesrv-3:9878 -Dcom.rocketmq.sendMessageWithVIPChannel=false

复制配置文件

vim conf/broker-a-m.conf

#0 表示 Master,>0 表示 Slave
brokerId = 0
#这个很有讲究 如果是正式环境 这里一定要填写内网地址（安全）
#如果是用于测试或者本地这里建议要填外网地址，因为你的本地代码是无法连接到阿里云内网，只能连接外网
brokerIP1 = 192.168.203.102
# 因为我们使用了links docker会自动映射
namesrvAddr=namesrv-1:9876;namesrv-2:9877;namesrv-3:9878
#Broker 对外服务的监听端口
listenPort = 10911
#删除文件时间点,默认凌晨 4点
deleteWhen = 04
# 映射文件提交大小
mapedFileSizeCommitLog = 1024 * 1024 * 1024
#文件保留时间,默认 72 小时
fileReservedTime = 120
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH

相同的操作,复制三份
cp conf/broker-a-m.conf conf/broker-a-s.conf
cp conf/broker-a-m.conf conf/broker-b-m.conf
cp conf/broker-a-m.conf conf/broker-b-s.conf

稍微修改下 , 改成 slave
vim conf/broker-a-s.conf

#0 表示 Master,>0 表示 Slave
brokerId = 1
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

稍微修改下 , 改成 broker-b
vim conf/broker-b-m.conf

#当前broker名
brokerName = broker-name-b

稍微修改下 , 改成 broker-b
vim conf/broker-b-s.conf

#当前broker名
brokerName = broker-name-b
#0 表示 Master,>0 表示 Slave
brokerId = 1
#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE

这样配置文件也准备好了,直接启动

docker-compose up

同样可以在控制台看到集群和broker
在这里插入图片描述

客户端连接问题:

MQClientException: No route info of this topic, springboot-mq

因为各自环境不一样所以只能挨个排除

  • 可能是 autoCreateTopicEnable 没有设置成true
  • 可能是配置文件中broker连接nameserver地址,外网无法访问,比如,我配置的是docker中的host映射,没有配置外网IP
  • 可能是磁盘或者内存空间不够,磁盘不够那自然无法持久化,在同步双写的时候也就无法写入,自然就失败了

MQBrokerException: CODE: 14 DESC: service not available now, maybe disk full, CL: 0.96 CQ: 0.96 INDEX: 0.96, maybe your broker machine memory too small.

这个就是典型的磁盘空间不足,我只给了20g磁盘

df -lh 分析哪些地方占了位置,删掉或者扩容

RemotingConnectException: connect to <192.168.203.102:10929> failed

默认的非vip通道端口:10911
vip通道端口:10909

需要注意 我们单机部署 默认如果走内网通道可能会有问题 ,客户端(console 和 我们的生产者 消费者)需要关闭内网通道,

代码中
setVipChannelEnabled(false);
或者环境变量/jvm参数
com.rocketmq.sendMessageWithVIPChannel = false

木秀林
关注
专栏目录
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
RocketMQ | Docker安装RocketMQ详细教程（foxiswho/rocketmq:4.8.0）
慌途L
10-13 2432
RocketMQ | Docker安装RocketMQ详细教程（foxiswho/rocketmq:4.8.0）
Docker安装RocketMQ
javamangguo的专栏
11-02 1502
Docker安装RocketMQ
Docker-compose安装RocketMq
乌龟的专栏
09-14 1575
Docker安装RocketMQ Server + Broker + Console 1、创建docker-compose.yml 先创建文件夹 cd /usr/local/ mkdir -p docker/rocketmq vi docker-compose.yml version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports:
Docker安装rocketMq
wangchange的博客
07-30 925
Docker安装rocketMq详细步骤，RocketMQ支持事务消息、顺序消息、批量消息、定时消息、消息回溯等多种功能，满足各种复杂的业务需求。消息生产者发送一条消息到消息服务器，消息服务器会随机选择一个消费者，只要该消费者消费成功即认为消息发送成功。：RocketMQ具有高吞吐量和低延迟的特性，能够处理亿级消息堆积，适合对消息队列性能有严格要求的业务环境。：RocketMQ提供同步发送、异步发送、顺序发送和单向发送等多种发送方式，以满足不同的消息发送需求。
Docker-compose 安装 rocketmq
一直被模仿，从未被超越
11-03 583
1、创建 docker-compose.yml vim docker-compose.yml version: "3" services: mqnamesrv: image: foxiswho/rocketmq:4.7.0 container_name: mqnamesrv ports: - 9876:9876 environment: JAVA_OPT: -server -Xms256m -Xmx256m command: sh
DockerCompose部署rocketMQ
月月大王的博客
10-16 3863
最近工作时用到了rocketMQ，并且测试服务器的rocketMQ总会出现问题，我找到运维的同事把测试服务器的账号要过来，准备自己部署一下rocketMQ，于是便有了这篇博客。
docker 安装rocketmq
一种感觉的博客
05-12 294
前言 首先我们是使用Docker进行搭建环境的，所以我们先要在自己机器上的安装Docker，具体的安装过程以及对于Docker的介绍官方文档里面说的很清楚了https://docs.docker.com/get-started/。 我们要搭建RocketMQ服务器，那么我们就要知道大概搭建RocketMQ服务器需要部署哪些东西。对于RocketMQ有一个架构图，如下所示。而图中所示的Producer（生产者）和Consumer（消费者）无需我们搭建，因为那是作为一个服务器进行启动的。nameserver就是
在docker上部署rocketmq遇到控制台无法访问的问题解决
qq_28228605的博客
10-26 5024
参考： 基于 Docker 安装 RocketMQ docker部署rocketmq步骤 1.创建docker-compose.yml文件 注意： 启动 RocketMQ Server + Broker + Console 至少需要 2G 内存 version: '3.5' services: rmqnamesrv: image: foxiswho/rocketmq:server container_name: rmqnamesrv ports: - 9876.
centos7安装docker、mysql、redis、mongodb、elasticsearch、kibana、nacos、rocketmq、memcached
没事儿偷着乐
05-20 452
1、虚拟机安装centos 7，将网络修改为桥接模式 2、打开网络服务 cd /etc/sysconfig/network-scripts 修改ifcgf-ens33配置，将ONBOOT=no修改为ONBOOT=yes，重启网络服务 systemctl restart network.service 关闭防火墙 systemctl status firewalld systemctl stop firewalld systemctl disable firewalld 3、安装dock
rocketmqinc/rocketmq与apache/rocketmq区别
08-19
- *1* *2* [rocketmq docker-compose 单机与同步双写 部署说明](https://blog.csdn.net/qq_35530042/article/details/115700531)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_...
docker-compose 安装RocketMq
fasheng0102的专栏
06-08 1577
docker ps 查看是否都启动了，如果都启动了，在成功，如果有没有启动成功，则可以查看docker日志，一般都是，ip设置问题。想快速的使用RocketMq，通过docker-compose的方式来进行安装，docker的安装方式不在赘述。三、同级目录下编辑并存储docker-compose.yml 文件。一、在/usr/local/docker文件夹下新建。二、在rocketmq 文件夹下，建立data文件夹。六、保存上边配置，执行docker-compose。四、data 文件夹新建子文件夹。
Docker Compose 部署 RocketMQ
qq_51095731的博客
10-26 1237
Docker Compose 部署 RocketMQ
docker-compose安装rocketmq
gxy03的博客
07-11 627
broker.conf里的内容为：brokerIP1 为 `宿主机IP`
docker-compose 配置rocketmq
m0_37902494的博客
11-19 1234
docker-compose编排rocketmq
Docker实战：docker compose搭建Rocketmq
高性价比服务器就选：蓝易云
03-30 433
例如，你可能需要调整服务的配置，或者添加更多的服务，比如RocketMQ的控制台。首先，我们需要了解Docker和Docker Compose。Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或Windows机器上，也可以实现虚拟化。你可以通过Docker Compose的命令来管理这些服务，比如docker-compose down来停止和删除服务，或者docker-compose logs来查看服务的日志。
Docker实战：docker compose 搭建Rocketmq
luckywuxn的博客
09-05 1245
浏览器访问：http://192.168.17.173:8087/#/，效果图如下，至此，docker compose 搭建Rocketmq完成。
Docker 系列之 docker-compose 部署 RocketMQ 集群（3master-noslave）
最新发布
火火火华的博客
08-13 839
Docker 系列之 docker-compose 部署 RocketMQ 集群（3master-noslave）
docker、docker-compose部署rocketmq4.7.0
aimcode
07-21 417
docker部署rocketmq4.7.0、docker-compose部署rocketmq4.5.2
Docker-compose教程详解与实战部署
Docker-compose教程全集是一份深入讲解Docker容器集群编排的详细指南，它是由Docker官方维护的开源工具，旨在简化多容器应用的部署和管理。Docker-compose主要关注三个层次的组织：项目（project）、服务（service）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

木秀林

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值