RocketMQ集群部署

已于 2024-01-18 14:24:13 修改
阅读量2.5k 收藏 3
点赞数
分类专栏： 中间件等 文章标签： rocketmq docker
于 2023-06-09 15:19:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43941593/article/details/131127778
版权
该文介绍了如何在两台服务器上使用Docker和docker-compose部署RocketMQ集群，包括nameserver和broker的双主双从配置，详细讲述了配置文件的设定，端口映射以及网络设置，最后提到了启动和停止部署的命令，以及如何访问RocketMQ的dashboard。
摘要由CSDN通过智能技术生成

一、部署环境

两台服务器，每台一个nameserver构成集群，broker集群双主双从。

主机 容器名称 IP 与宿主机的端口映射

![在这里插入图片描述](https://img-blog.csdnimg.cn/ea99086ce3ae4d7cbb6cbfd4cfb1e433.png

  • ODL控制器会同过vip通道10909去连接mq。
  • 主从通过10912端口同步
  • 这两个地址是通过-2 +1 在配置文件端口10911基础上计算得出

两个宿主机上都有docker，并且创建了网桥docker-br0。

docker network create --subnet=172.16.1.0/24 docker-br0

docker network create --subnet=172.16.2.0/24 docker-br0

二、部署步骤

(一)、安装docker compose

参考官方方法：https://docs.docker.com/compose/install/linux/

DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}
mkdir -p $DOCKER_CONFIG/cli-plugins
curl -SL https://github.com/docker/compose/releases/download/v2.17.2/docker-compose-linux-x86_64 -o $DOCKER_CONFIG/cli-plugins/docker-compose

chmod +x $DOCKER_CONFIG/cli-plugins/docker-compose

docker compose version

拉取mq docker镜像

docker pull apache/rocketmq:4.3.1

docker pull apacherocketmq/rocketmq-dashboard

（二）、172.16.101.14 主机docker compose 部署 nameserver和broker 配置文件

  • 现在broker master配置文件都是开启自动创建topic的。如果topic消息间隔时间 > nameserver路由更新时间30s / （单个broker topic队列数 + 1），只会使用一个broker。
  • 在生产环境下不开启自动创建topic。需要手动给每个broker创建topic。手动创建topic后，消息会轮询所有broker的队列，选择一个发送。

1.创建路径docker-compose/rocketmq/，存放主从broker的配置文件：broker-a.conf broker-b-s.conf。

broker-a.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-a

# 0表示broker master 非0表示 broker slaver
brokerId = 0

# brokerIP1 当前broker监听的IP
brokerIP1 = 172.16.101.14

# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 172.16.101.14

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = rmqnamesrv-a:9876;172.16.101.13:9876

# 是否能够自动创建topic
autoCreateTopicEnable = true

#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911

#Broker角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole = ASYNC_MASTER

#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType = ASYNC_FLUSH

broker-b-s.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-b

brokerId = 1

brokerIP1 = 172.16.101.14

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = rmqnamesrv-a:9876;172.16.101.13:9876

listenPort = 11911

brokerRole = SLAVE

flushDiskType = ASYNC_FLUSH
  1. docker-compose/下创建文件docker-compose.yml

docker-compose.yml

version: '3.5'
services:
rmqnamesrv-a:
image: apache/rocketmq:4.3.1
restart: always
container_name: rmqnamesrv-a
ports:
- 9876:9876
volumes:
- ./rocketmq/logs/nameserver-a:/opt/logs/rocketmqlogs
- ./rocketmq/store/nameserver-a:/opt/store
environment:
JAVA_OPT_EXT: "-Duser.home=/opt -Xms512m -Xmx512m -Xmn150m"
command: sh mqnamesrv
networks:
- docker-br0


rmqbroker-a:
image: apache/rocketmq:4.3.1
container_name: rmqbroker-a
ports:
- 10911:10911
- 10909:10909
- 10912:10912
volumes:
- ./rocketmq/logs/broker-a:/home/rocketmq/logs
- ./rocketmq/store/broker-a:/home/rocketmq/store
- ./rocketmq/broker-a.conf:/home/rocketmq/rocketmq-4.3.1/conf/broker.conf
environment:
TZ: Asia/Shanghai
NAMESRV_ADDR: "rmqnamesrv-a:9876"
JAVA_OPTS: " -Duser.home=/opt"
JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
command: sh mqbroker -c /home/rocketmq/rocketmq-4.3.1/conf/broker.conf autoCreateTopicEnable=true &
links:
- rmqnamesrv-a:rmqnamesrv-a
networks:
- docker-br0

rmqbroker-b-s:
image: apache/rocketmq:4.3.1
container_name: rmqbroker-b-s
ports:
- 11911:11911
- 11909:11909
- 11912:11912
volumes:
- ./rocketmq/logs/broker-b-s:/home/rocketmq/logs
- ./rocketmq/store/broker-b-s:/home/rocketmq/store
- ./rocketmq/broker-b-s.conf:/home/rocketmq/rocketmq-4.3.1/conf/broker.conf
environment:
TZ: Asia/Shanghai
NAMESRV_ADDR: "rmqnamesrv-a:9876"
JAVA_OPTS: " -Duser.home=/opt"
JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
command: sh mqbroker -c /home/rocketmq/rocketmq-4.3.1/conf/broker.conf autoCreateTopicEnable=true &
links:
- rmqnamesrv-a:rmqnamesrv-a
networks:
- docker-br0

networks:
docker-br0:
external: true

（三）、172.16.101.13 主机docker compose 部署 nameserver和broker 配置文件

1.创建路径docker-compose/rocketmq/，存放主从broker的配置文件：broker-b.conf broker-a-s.conf。

broker-b.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-b

brokerId = 0

brokerIP1 = 172.16.101.13

brokerIP2 = 172.16.101.13

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = rmqnamesrv-b:9876;172.16.101.14:9876

autoCreateTopicEnable = true

brokerRole = ASYNC_MASTER

flushDiskType = ASYNC_FLUSH

broker-a-s.conf

brokerClusterName = rocketmq-cluster
brokerName = broker-a

brokerId = 1

brokerIP1 = 172.16.101.13

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = rmqnamesrv-b:9876;172.16.101.14:9876

listenPort = 11911

brokerRole = SLAVE

flushDiskType = ASYNC_FLUSH
  1. docker-compose/下创建文件docker-compose.yml

docker-compose.yml

version: '3.5'
services:
rmqnamesrv-b:
image: apache/rocketmq:4.3.1
restart: always
container_name: rmqnamesrv-b
ports:
- 9876:9876
volumes:
- ./rocketmq/logs/nameserver-b:/opt/logs/rocketmqlogs
- ./rocketmq/store/nameserver-b:/opt/store
environment:
JAVA_OPT_EXT: "-Duser.home=/opt -Xms512m -Xmx512m -Xmn150m"
command: sh mqnamesrv
networks:
- docker-br0


rmqbroker-b:
image: apache/rocketmq:4.3.1
container_name: rmqbroker-b
ports:
- 10911:10911
- 10909:10909
- 10912:10912
volumes:
- ./rocketmq/logs/broker-b:/home/rocketmq/logs
- ./rocketmq/store/broker-b:/home/rocketmq/store
- ./rocketmq/broker-b.conf:/home/rocketmq/rocketmq-4.3.1/conf/broker.conf
environment:
TZ: Asia/Shanghai
NAMESRV_ADDR: "rmqnamesrv-b:9876"
JAVA_OPTS: " -Duser.home=/opt"
JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
command: sh mqbroker -c /home/rocketmq/rocketmq-4.3.1/conf/broker.conf autoCreateTopicEnable=true &
links:
- rmqnamesrv-b:rmqnamesrv-b
networks:
- docker-br0

rmqbroker-a-s:
image: apache/rocketmq:4.3.1
container_name: rmqbroker-a-s
ports:
- 11911:11911
- 11909:11909
- 11912:11912
volumes:
- ./rocketmq/logs/broker-a-s:/home/rocketmq/logs
- ./rocketmq/store/broker-a-s:/home/rocketmq/store
- ./rocketmq/broker-a-s.conf:/home/rocketmq/rocketmq-4.3.1/conf/broker.conf
environment:
TZ: Asia/Shanghai
NAMESRV_ADDR: "rmqnamesrv-b:9876"
JAVA_OPTS: " -Duser.home=/opt"
JAVA_OPT_EXT: "-server -Xms128m -Xmx128m -Xmn128m"
command: sh mqbroker -c /home/rocketmq/rocketmq-4.3.1/conf/broker.conf autoCreateTopicEnable=true &
links:
- rmqnamesrv-b:rmqnamesrv-b
networks:
- docker-br0

networks:
docker-br0:
external: true

（四）、部署

  1. 执行
docker compose up -d
docker compose down

  1. 此时已经在rocket下创建了logs和store文件夹，设置权限chmod -R 777 logs/ store/

  2. 部署docker compose up -d

  3. docker部署dashboard

docker run -d -it --net docker-br0 --ip 172.16.1.18 --name dashboard -p 8080:8080 -e "JAVA_OPTS=-Drocketmq.namesrv.addr=172.16.101.13:9876;172.16.101.14:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" apacherocketmq/rocketmq-dashboard:latest /bin/bash

启动后进入宿主机ip:8080页面

查看容器内网卡ip：hostname -i

谷谷谷雨
关注
专栏目录
rocketmq 集群部署
linxi7的博客
05-11 3087
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
图解RocketMQ之保姆级部署指南
最新发布
一个成长中的程序员，期待用技术的眼光生活
08-09 938
但凡是亲自部署过 RocketMQ 的小伙伴估计都跟我有一样的感受，岂是一个坑字了得。RocketMQ 的迭代不算快，但出乎意料的是不同的版本之间部署的方式又不大一样，你去上网查吧，大部分教程也没标注使用的是哪个版本。作为技术博主，我对教程是有着强烈洁癖的，我认为一切不标注时效的教程都不是好教程。正如你所看到的，我正写的保姆级部署教程是基于的这个版本，来自未来的读者，我希望你在实践之前能和我的版本保持一致。
RocketMQ(2)---Docker部署RocketMQ集群
后端元宇宙
02-20 4234
RocketMQ(2)—Docker集群部署RocketMQ =前言= 1、因为自己只买了一台阿里云服务器，所以RocketMQ集群都部署在单台服务器上只是端口不同，如果实际开发，可以分别部署在多台服务器上。 2、这里有关 Broker 和 NameServer 分别都做了了集群部署(各部署两个），且BroKer是按两主进行部署。 之所以选用Docker部署主要还是考虑 ：通过Docker部署...
RocketMQ集群环境部署
qq_43456605的博客
05-17 830
可以看出上面的配置中，worker0作为nameserver服务器（三个机器都部署了nameserver），woker1与worke2在不同的集群中互为主从节点。根据前面的规划，worker2作为broker-a的主节点，作为broker-b的从节点。然后配置broker-b-s.properties：即进行brokerb的从节点配置。然后配置broker-a-s.properties：即进行brokera的从节点配置。首先配置broker-a.properties：即进行brokera的主节点配置。
RockerMQ集群部署
Java.L的博客
02-24 2263
讲解RockerMQ集群部署
RocketMQ 集群部署
weixin_50395990的博客
04-26 211
RocketMQ 集群部署 系统部署架构，使用的模式是 2m-2s-sync broker 机器信息 Master 1：172.18.24.5 Slave 1：172.18.24.6 Master 2：172.18.24.7 Slave 2：172.18.24.8 namesrv 机器信息（这里复用了 3 台主机做 Name Server。正式生产环境应该要考虑配置单独的 3 台机器做 Name Server） Name Server 1：172.18.24.5 Name Ser...
rocketmq集群部署
08-11
### RocketMQ集群部署详解 #### 一、RocketMQ概述 RocketMQ是一款开源的分布式消息中间件，具有高吞吐量、低延迟、高可靠性的特点，适用于多种应用场景，如消息推送、日志收集、分布式事务处理等。在企业级应用中...
RocketMQ集群部署1
08-04
总的来说，RocketMQ集群部署是一项关键任务，它关系到整个分布式系统的信息传递效率和稳定性。正确配置和管理NameServer和BrokerServer，能够帮助我们构建出一个高效、可靠的实时消息处理平台。
kubernetes部署rocketmq集群部署使用的values.yaml文件
07-15
kubernetes部署rocketmq集群部署使用的values.yaml文件
RocketMQ集群安装部署
08-15
RocketMQ集群安装部署 一步一步讲述RocketMQ的安装部署和测试过程。
Centos6下RocketMQ集群部署记录
shangyuanlang的博客
07-28 822
一、RocketMQ基础知识介绍 Apache RocketMQ是阿里开源的一款高性能、高吞吐量、队列模型的消息中间件的分布式消息中间件。 上图是一个典型的消息中间件收发消息的模型，RocketMQ也是这样的设计，简单说来RocketMQ具有以下特点： 1）是一个队列模型的消息中间件，具有高性能、高可靠、高实时、分布式特点。 2）Producer、Consumer、队列都可以分布式。 3）P...
RocketMQ集群部署方案（DLedger）
weixin_37838106的博客
01-29 5070
RocketMQ集群部署方案（DLedger） 一、基本配置 1、准备三台虚拟机，root密码 root ;IP地址： 192.168.xxx.xxx worker1 192.168.xxx.xxx worker2 192.168.xxx.xxx worker3 并在对应的机器的/etc/hosts文件中设置对应的ip和机器名映射 2、每台机器上创建用户mq并设置密码 useradd mq passwd mq 密码输入：Anji@1024 3、系统配置 1）免密登录，切换mq用户，在worker1
RocketMQ集群部署结构
summer_fish的专栏
08-23 691
RocketMQ四大核心组成部分：NameServer、Broker、Producer以及Consumer四部分；各组件通讯Tip：我们可以看到RocketMQ啥都是集群部署的，这是他吞吐量大，高可用的原因之一，集群的模式也很花哨，可以支持多master 模式、多master多slave异步复制模式、多 master多slave同步双写模式。NameServer是一个功能齐全的服务器，其角色类似Dubbo中的Zookeeper，但NameServer与Zookeeper相比更轻量。主要是因为每个NameSe
RocketMQ（二）——集群部署
热门推荐
张连海
08-02 1万+
在Metaq1.x/2.x的版本中，分布式协调采用的是Zookeeper，而RocketMQ自己实现了一个NameServer，所以RocketMQ启动时，先启动对应的NameServer。 集群部署方式 RocketMQ部署比较灵活，推荐几种Broker的集群部署方式。 1. 单个Master 很显然，这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议
RocketMQ-集群搭建
weixin_58482311的博客
12-01 1485
在RocketMQ的这种主从架构的集群下，客户端发送的消息会分散保存到broker-a和broker-b两个服务上，然后每个服务都配有slave服务，可以备份对应master服务上的消息，这样就可以防止单点故障造成的消息丢失问题。与第一组broker-a服务的配置方式类似，在worker3上配置broker-b的MASTER服务。了的，slave服务虽然拥有全部的数据，但是它没办法升级成为master服务去响应客户端的请求，依然只是傻傻等待master服务重启后，继续做它的数据备份工作。
rocketmq集群搭建
qq_41196211的博客
03-27 1073
是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值