02_单机docker搭建rocketmq集群

已于 2023-01-03 10:47:22 修改
阅读量266 收藏 4
点赞数 1
分类专栏： docker 文章标签： docker java-rocketmq rocketmq
于 2022-12-30 17:09:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26813531/article/details/128498218
版权

1. 要求

在一台机器上使用docker搭建rocketmq集群(2m2s)

2. 创建挂载目录

mkdir -p /data/rocketmq/{logs-nameserver-m,logs-nameserver-s,logs-a,logs-a-s,logs-b,logs-b-s,conf,store-a,store-b,store-a-s,store-b-s}

chmod -R 777 /data/rocketmq

3. 创建配置文件

在/data/rocketmq/conf目录下创建broker配置文件 并赋777权限（chmod -R 777 文件名）

  1. broker-a.conf
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字，同一个集群名字相同
brokerClusterName=DefaultCluster
#broker名字
brokerName=broker-a
#0表示master >0 表示slave
brokerId=0
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=48
#异步复制Master
brokerRole=ASYNC_MASTER
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口端口号对应docker启动时候的端口号
listenPort=10911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.56.10:9876;192.168.56.10:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.56.10
# 限制的消息⼤⼩
maxMessageSize=65536
# commitLog每个⽂件的⼤⼩默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个⽂件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  1. broker-b.conf
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字，同一个集群名字相同
brokerClusterName=DefaultCluster
#broker名字
brokerName=broker-b
#0表示master >0 表示slave
brokerId=0
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=48
#异步复制Master
brokerRole=ASYNC_MASTER
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口端口号对应docker启动时候的端口号
listenPort=11912
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.56.10:9876;192.168.56.10:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.56.10
# 限制的消息⼤⼩
maxMessageSize=65536
# commitLog每个⽂件的⼤⼩默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个⽂件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  1. broker-a-s.conf
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字，同一个集群名字相同
brokerClusterName=DefaultCluster
#broker名字
brokerName=broker-a
#0表示master >0 表示slave
brokerId=1
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=48
#Broker 的角色，ASYNC_MASTER=异步复制Master，SYNC_MASTER=同步双写Master，SLAVE=slave节点
brokerRole=SLAVE
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口端口号对应docker启动时候的端口号
listenPort=11013
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.56.10:9876;192.168.56.10:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.56.10
# 限制的消息⼤⼩
maxMessageSize=65536
# commitLog每个⽂件的⼤⼩默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个⽂件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
  1. broker-b-s.conf
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字，同一个集群名字相同
brokerClusterName=DefaultCluster
#broker名字
brokerName=broker-b
#0表示master >0 表示slave
brokerId=1
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=48
#Broker 的角色，ASYNC_MASTER=异步复制Master，SYNC_MASTER=同步双写Master，SLAVE=slave节点
brokerRole=SLAVE
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口端口号对应docker启动时候的端口号
listenPort=11014
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.56.10:9876;192.168.56.10:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.56.10
# 限制的消息⼤⼩
maxMessageSize=65536
# commitLog每个⽂件的⼤⼩默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue每个⽂件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000

4. 拉取镜像

docker pull foxiswho/rocketmq:4.8.0

5. 安装nameserver

#启动 rmqnamesrv-master
docker run -d -v /data/rocketmq/logs-nameserver-m:/home/rocketmq/logs \
--name rmqnamesrv-master \
--restart=always \
-e "JAVA_OPT_EXT=-Xms256M -Xmx256M -Xmn128m" \
-p 9876:9876 \
foxiswho/rocketmq:4.8.0  \
sh mqnamesrv
 
#启动 rmqnamesrv-slave
docker run -d -v /data/rocketmq/logs-nameserver-s:/home/rocketmq/logs \
--name rmqnamesrv-slave \
--restart=always \
-e "JAVA_OPT_EXT=-Xms256M -Xmx256M -Xmn128m" \
-p 9877:9876 \
foxiswho/rocketmq:4.8.0 \
sh mqnamesrv

6. 安装broker

# 启动 mq-a-master
docker run -d    \
--name mq-a-master  \
--restart=always \
-v /data/rocketmq/logs-a:/home/rocketmq/logs \
-v /data/rocketmq/store-a:/home/rocketmq/store \
-v /data/rocketmq/conf/broker-a.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
-e "NAMESRV_ADDR=192.168.56.10:9876;192.168.56.10:9877" \
-e "JAVA_OPT_EXT= -server -Xms128M -Xmx128M -Xmn128m" \
-p 10911:10911 \
foxiswho/rocketmq:4.8.0 \
sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
 
#启动 mq-b-master
docker run -d \
--name mq-b-master \
--restart=always \
-v /data/rocketmq/logs-b:/home/rocketmq/logs  \
-v /data/rocketmq/store-b:/home/rocketmq/store \
-v /data/rocketmq/conf/broker-b.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
-e "NAMESRV_ADDR=192.168.56.10:9876;192.168.56.10:9877" \
-e "JAVA_OPT_EXT= -server -Xms128M -Xmx128M -Xmn128m" \
-p 11912:11912  \
--privileged=true \
foxiswho/rocketmq:4.8.0 \
sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
 
#启动 mq-a-slave
docker run -d   \
--name mq-a-slave \
--restart=always \
-v /data/rocketmq/logs-a-s:/home/rocketmq/logs \
-v /data/rocketmq/store-a-s:/home/rocketmq/store \
-v /data/rocketmq/conf/broker-a-s.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
-e "NAMESRV_ADDR=192.168.56.10:9876;192.168.56.10:9877" \
-e "JAVA_OPT_EXT= -server -Xms128M -Xmx128M -Xmn128m" \
-p  11013:11013 \
foxiswho/rocketmq:4.8.0 \
sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
 
#启动 mq-b-slave
docker run -d  \
--name mq-b-slave \
--restart=always \
-v /data/rocketmq/logs-b-s:/home/rocketmq/logs \
-v /data/rocketmq/store-b-s:/home/rocketmq/store \
-v /data/rocketmq/conf/broker-b-s.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf \
-e "NAMESRV_ADDR=192.168.56.10:9876;192.168.56.10:9877" \
-e "JAVA_OPT_EXT= -server -Xms128M -Xmx128M -Xmn128m" \
-p 11014:11014  \
foxiswho/rocketmq:4.8.0 \
sh mqbroker -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf

7. 验证

# 拉取rocketmq-console-ng镜像
docker pull styletang/rocketmq-console-ng:1.0.0

# 运行rocketmq-console-ng容器
docker run -d \
--name rmq-console \
--restart=always \
-e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.56.10:9876;192.168.56.10:9877 -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
-p 8888:8080 \
styletang/rocketmq-console-ng:1.0.0

在这里插入图片描述

层巅余落日
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
docker构建rocketMq集群
qq_39203337的博客
04-12 381
需要往集群中添加其他的brokerji节点，只需要从第四部开始即可(需要拉取docker镜像)、修改响应的配置参数和启动参数即可。只有在启动了namesrv的机器上才添加该参数，集群中的其他节点不需要添加该参数。#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；集群中各broker节点只需要连接到相同的NAMESRV_ADDR并且在上面的配置文件中指定唯一的brokerId即可。#broker名称，master和slave使用相同的名称，表明他们的主从关系。
RocketMQ（一）使用docker-compose部署RocketMQ 4.9.4集群
bacawa的博客
05-06 4848
docker-compose部署rocketMQ 4.9.4集群，并做数据持久化
使用docker部署rocketmq时的坑
工具人的博客
08-17 1万+
官方docker项目地址: https://github.com/apache/incubator-rocketmq-externals 里面有rocketmq的docker运行文档如果同时需要docker运行console需要注意一个问题 下面是官方文档中运行console的命令，里面的JAVA_OPTS参数是不正确的，不知道是不是版本原因docker run -e "JAVA_OPTS=
RocketMQ 安装配置及集群主从配置
herforyou的博客
05-16 1万+
cketMQ安装配置及集群主从配置1.       需要软件：Maven，Java,RocketMQ当前最新版本是4.2.0，必须的java1.8来支持2 .  Java 安装解压完成后配置环境变量，#Java环境变量配置export JAVA_HOME=/usr/local/java/jdk1.8.0_171export JRE_HOME=/usr/local/java/jdk1.8.0_171...
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
docker-compose 搭建RocketMQ 5.1.0 集群
最新发布
08-02
docker-compose 搭建RocketMQ 5.1.0 集群
docker搭建rabbitmq集群环境的方法
09-30
本篇文章主要介绍了docker搭建rabbitmq集群环境的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。
mac上基于docker搭建hadoop集群
01-20
按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网 docker network create –subnet=172.18.0.0/16 netgroup 对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和...
rocketmq DLedger集群搭建（docker）
weixin_43931625的博客
09-18 1720
rocketmq Dledger集群搭建（docker）
rocketmq windows版本 安装(单机和集群) 后台服务注册
01-31
rocketmq windows版本安装 含单机和集群 与后台服务注册 亲测书写的文档，
docker搭建rocketmq集群
鶸者为何战斗
03-07 3821
借鉴于 https://www.cnblogs.com/qdhxhz/p/11096682.html 但是其中有一些错误，本人进行了修改 docker-compose.yml version: '3.5' services: rmqnamesrv-a: image: rocketmqinc/rocketmq:4.3.0 container_name: rmqnames...
一分钟教会你使用Docker Desktop搭建RocketMQ--巨简单
weixin_42222436的博客
07-28 2530
上一节我们讲到了怎么在本地安装DockerDesktop，安装完了之后我们需要在docker上面部署一些自己需要的东西，比如MySQL，Redis还有我们本节介绍的RocketMQ，由于MySQL和Redis的安装非常的简单，我们就直接跳过了。RocketMQ需要安装三个组件，这三个组件又需要能够互相通信连接的，考虑到分开部署进行配置连接信息比较麻烦（有很多博客都是说怎么一个个的搭建），这里我们采用docker-compose进行配置部署，简单方便的直接搞定。作为一个二本的农村孩子，深有感触，一起共勉！..
Linux环境下单机RocketMQ部署开发
踏雪寻梅
03-14 5503
前言 RocketMQ是阿里巴巴团队研发的高性能、分布式消息中间件，已捐赠给Apache基金会，面向所有开发人员开源免费使用，本文主要参考其官方快速文档（http://jm.taobao.org/2017/01/12/rocketmq-quick-start-in-10-minutes/）和自己亲自动手实践，我们从了解RocketMQ开始，循序渐进，一步一步亲自实现中间件部署，测试消息收发，从理...
RocketMq集群环境实战(双namesrv、双master、双slave)
xiaojie19871116的博客
07-21 2万+
主:192.168.151.131   从 192.168.151.132 1. 修改主从hosts文件     vi /etc/hosts  加入     192.168.153.131  rocketmq.master     192.168.153.132  rocketmq.slave 2. 修改mq配置文件采用异步复制  2m-2s-async      19
RocketMq-单机搭建（单master）
迷途中的一片羽毛博客
06-07 1486
准备工作 环境：centOS7 安装包：rocketmq-all-4.3.0-bin-release.zip JDK1.8 maven环境（主要是运维工具） 一、解压 1、使用xshell连接centos7，通过xftp上传rocketmq-all-4.3.0-bin-release.zip文件至/usr/local/software 2、解压zip文件，命令：unzip roc...
RocketMQ 消息队列单机部署及使用
热门推荐
loongshawn的博客
04-07 3万+
RocketMQ 消息队列单机部署及java程序中的使用介绍......
消息中间件RocketMQ（二）：使用Docker搭建二主二从集群
菜鸡也有大佬梦
10-24 1689
使用Docker安装RocketMQ 1.拉取镜像 docker pull foxiswho/rocketmq:server-4.3.2 docker pull foxiswho/rocketmq:broker-4.3.2 2.创建nameserver容器 docker create -p 9876:9876 --name rmqserver \ -e "JAVA_OPT_EXT=-serv...
搭建rocketmq单机环境
Tate的博客
06-20 797
年已过半，发现很久没有写博客了，今年打算博客写满100篇，最近太懒了，一直没有更新，今天写点和mq相关的学习笔记，作为面试和必须掌握的一门消息队列工具吧(我基本是按照官方的做法操作和介绍进行的“翻译”，提前说一句，别和我一样安装了多个jdk，是真的伤，走了不少坑) 安装： - 环境：macos 10.13.4，jdk1.8,maven 3.5 - 安装参考官方意见： ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

层巅余落日

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值