Docker安装多主多备rocketMQ集群之Docker-compose方式

最新推荐文章于 2024-03-30 02:07:45 发布
最新推荐文章于 2024-03-30 02:07:45 发布
阅读量1.7k 收藏 1
点赞数 1
分类专栏： MQ消息中间件 Docker 文章标签： docker linux rocketmq rocketmq集群 docker-compose
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39555954/article/details/121319897
版权

本人是在一台虚拟机上搭建的，如果是生产部署请做相应的修改！！！

目录

一、安装docker-compose

二、安装rocketmq

配置文件

yml配置文件

三、安装成功

一、安装docker-compose

假设你电脑已经安装了docker了，如果没有请转Docker的入门以及简单应用的安装_熟透的蜗牛的博客-CSDN博客

1、下载docker-compose

[root@bogon ~]# sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

2、授权

[root@bogon ~]# sudo chmod +x /usr/local/bin/docker-compose

3、检测是否安装成功

[root@bogon bin]# docker-compose --version或者docker-compose -v

4、卸载

[root@bogon bin]# sudo rm /usr/local/bin/docker-compose

二、安装rocketmq

配置文件

1、创建配置文件目录

mkdir -p /data/rocketmq/{logs-nameserver-m,logs-nameserver-s,logs-a,logs-a-s,logs-b,logs-b-s,store-a,store-a-s,store-b,store-b-s,conf}

2、broker-a.conf

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#所属集群名字，同一个集群名字相同
brokerClusterName=rocketmq-cluster
#broker名字
brokerName=broker-a
#0表示master >0 表示slave
brokerId=0
#删除文件的时间点，凌晨4点
deleteWhen=04
#文件保留时间 默认是48小时
fileReservedTime=168
#异步复制Master
brokerRole=ASYNC_MASTER
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=10911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.139.156:9876;192.168.139.156:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.139.156

3、broker-b.conf

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=168
#Broker 的角色，ASYNC_MASTER=异步复制Master，SYNC_MASTER=同步双写Master，SLAVE=slave节点
brokerRole=ASYNC_MASTER
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=SYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=11911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.139.156:9876;192.168.139.156:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.139.156

4、broker-a-s.conf

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样  例如：在a.properties 文件中写 broker-a  在b.properties 文件中写 broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=168
#Broker 的角色，ASYNC_MASTER=异步复制Master，SYNC_MASTER=同步双写Master，SLAVE=slave节点
brokerRole=SLAVE
#刷盘方式，ASYNC_FLUSH=异步刷盘，SYNC_FLUSH=同步刷盘 
flushDiskType=SYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=12911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.139.156:9876;192.168.139.156:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.139.156

5、broker-b-s.conf

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
brokerClusterName=rocketmq-cluster
brokerName=broker-b
#slave
brokerId=1
deleteWhen=04
fileReservedTime=168
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#Broker 对外服务的监听端口
listenPort=13911
#nameServer地址，这里nameserver是单台，如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.139.156:9876;192.168.139.156:9877
#每个topic对应队列的数量，默认为4，实际应参考consumer实例的数量，值过小不利于consumer负载均衡
defaultTopicQueueNums=8
#是否允许 Broker 自动创建Topic，生产建议关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，生产建议关闭
autoCreateSubscriptionGroup=true
#设置BrokerIP
brokerIP1=192.168.139.156

yml配置文件

1、创建目录存放docker-compose.yml

[root@bogon ~]# mkdir -p /usr/local/docker-compose/rocketmq

2、vi docker-compose.yml 如下内容 

version: '2'
services:
  namesrv1:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqnamesrv1
    ports:
      - 9876:9876
    volumes:
      - /data/rocketmq/logs-nameserver-m:/home/rocketmq/logs
    environment:
      JAVA_OPT_EXT: -server -Xms256M -Xmx256M -Xmn128m
    command: sh mqnamesrv
  namesrv2:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqnamesrv2
    ports:
      - 9877:9877
    volumes:
      - /data/rocketmq/logs-nameserver-s:/home/rocketmq/logs
    environment:
      JAVA_OPT_EXT: -server -Xms256M -Xmx256M -Xmn128m
    command: sh mqnamesrv
  broker-a-m:
      image: foxiswho/rocketmq:4.8.0
      container_name: rmqbroker-a-master
      ports:
        - 10909:10909
        - 10911:10911
        - 10912:10912
      volumes:
      - /data/rocketmq/logs-a:/home/rocketmq/logs
      - /data/rocketmq/store-a:/home/rocketmq/store
      - /data/rocketmq/conf/broker-a.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf
      environment:
        JAVA_OPT_EXT: -server -Xms256m -Xmx256m -Xmn128m
        NAMESRV_ADDR: 192.168.139.156:9876;192.168.139.156:9877
      command: sh mqbroker  -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
  broker-b-m:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqbroker-b-master
    ports:
      - 11909:11909
      - 11911:11911
      - 11912:11912
    volumes:
    - /data/rocketmq/logs-b:/home/rocketmq/logs
    - /data/rocketmq/store-b:/home/rocketmq/store
    - /data/rocketmq/conf/broker-b.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf
    environment:
      JAVA_OPT_EXT: -server -Xms256m -Xmx256m -Xmn128m
      NAMESRV_ADDR: 192.168.139.156:9876;192.168.139.156:9877
    command: sh mqbroker  -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
  broker-a-s:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqbroker-a-slave
    ports:
      - 12909:12909
      - 12911:12911
      - 12912:12912
    volumes:
      - /data/rocketmq/logs-a-s:/home/rocketmq/logs
      - /data/rocketmq/store-a-s:/home/rocketmq/store
      - /data/rocketmq/conf/broker-a-s.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf
    environment:
      JAVA_OPT_EXT: -server -Xms256m -Xmx256m -Xmn128m
      NAMESRV_ADDR: 192.168.139.156:9876;192.168.139.156:9877
    command: sh mqbroker  -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
  broker-b-s:
    image: foxiswho/rocketmq:4.8.0
    container_name: rmqbroker-b-slave
    ports:
      - 13909:13909
      - 13911:13911
      - 13912:13912
    volumes:
      - /data/rocketmq/logs-b-s:/home/rocketmq/logs
      - /data/rocketmq/store-b-s:/home/rocketmq/store
      - /data/rocketmq/conf/broker-b-s.conf:/home/rocketmq/rocketmq-4.8.0/conf/broker.conf
    environment:
      JAVA_OPT_EXT: -server -Xms256m -Xmx256m -Xmn128m
      NAMESRV_ADDR: 192.168.139.156:9876;192.168.139.156:9877
    command: sh mqbroker  -c /home/rocketmq/rocketmq-4.8.0/conf/broker.conf
    depends_on:
      - namesrv1
      - namesrv2

注意：yml文件格式一定要写对，建议修改完成之后在线校验一下。一定要对新建的存储目录和配置文件chmod 777授权，否则启动不起来！！！

3、启动

在docker-compose.yml的目录下启动

docker-compose up
#后台启动
docker-compose up -d

三、安装成功

 端口号说明

  • listenPort参数是broker的监听端口号，是remotingServer服务组件使用，作为对Producer和Consumer提供服务的端口号，默认为10911。
  • fastListenPort参数是fastRemotingServer服务组件使用，默认为listenPort - 2，#主要用于slave同步master ，fastListenPort=10909。
  • haListenPort参数是HAService服务组件使用，用于Broker的主从同步，默认为listenPort - 1， haService中使用 haListenPort=10912
熟透的蜗牛
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
根据docker-compose搭建多主多从RocketMQ集群
wangxiaoyan2的博客
05-20 1659
1.创建目录 mkdir -p /home/wangyan/rocketmq/namesvr1/data && mkdir -p /home/wangyan/rocketmq/namesvr1/log && mkdir -p /home/wangyan/rocketmq/namesvr2/data && mkdir -p /home/wangyan/rocketmq/namesvr2/log && mkdir -p /home/wa
RocketMQ集群安装部署（多主多从）
momo898821的博客
04-08 3162
RocketMQ 2m-2s-async集群安装部署
Docker实战：docker compose搭建Rocketmq
最新发布
蓝易云
03-30 254
例如，你可能需要调整服务的配置，或者添加更多的服务，比如RocketMQ的控制台。首先，我们需要了解Docker和Docker Compose。Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或Windows机器上，也可以实现虚拟化。你可以通过Docker Compose的命令来管理这些服务，比如docker-compose down来停止和删除服务，或者docker-compose logs来查看服务的日志。
RocketMQ多主（noslave）集群搭建
SunnyDay87的博客
05-23 593
RocketMQ多主（noslave）集群搭建 1. 环境准备 1.1 准备2台服务器地址为： 192.163.1.11 192.163.1.12 并且保证两台机器能供互相ping通 1.2 JDK环境11 sudo apt-get install openjdk-11-jdk 2. 安装RocketMQ 2.1 下载地址 https://mirrors.bfsu.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
docker部署rocketmq集群。
leadseczgw01的博客
07-04 841
1.镜像 rocketmqinc/rocketmq：4.4.0 rocketmq镜像 styletang/rocketmq-console-ng rocketmq的管理界面 2.集群方式 主要有3种：2m-2s-async、2m-2s-sync、2m-noslave。m表示master，s表示slave，由于机器及目前业务有限，使用2m-noslave方式，本文部署在同一个机器上。 2个namesrv+2个broker 3.namesrv部署 创建两个文件夹nameserve...
docker-compose部署roketmq三组主从集群节点
云深海阔专栏
01-24 791
A、broker节点部署 1、所有的目录结构 . ├── conf │ ├── broker-a-m-1.conf │ ├── broker-a-s-1.conf │ ├── broker-a-s-2.conf │ ├── broker-b-m-1.conf │ ├── broker-b-s-1.conf │ ├── broker-b-s-2.conf │ ├── broker-c-m-1.conf │ ├── broker-c-s-1.conf │ └── broker
docker-compose一键搭建Redis集群
06-12
1.先运行 createFile.py 输入宿主机IP地址，输入redis密码 2.按照控制台输出执行docker-compose up -d 启动命令 3.启动成功后执行加入集群命令即可
docker-compose安装包
12-19
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录...
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
docker-compose 搭建RocketMQ 5.1.0 集群
docker-compose搭建rocketmq集群双主双从
u014624123的博客
05-28 858
这里写自定义目录标题搭建信息搭建过程192.168.1.134192.168.1.129 搭建信息 搭建环境是虚拟机的两台centos7，此文为本人学习环境搭建过程的记录。 服务 IP 端口 nameservice 192.168.171.134 9876 console 192.168.171.134 19876 broker1-m-1 192.168.171.134 10911 broker1-s-1 192.168.171.134 11911 broker2-m-1 1
在Docker上面部署RocketMQ
qq_45901741的博客
07-25 5618
在Docker上部署RocketMq主要有以下几个步骤，我是用的CenOS虚拟机，但是命令就是这几个，综合了很多大佬的文章，整理出来一个整体步骤，请大家斧正！！！ 1、创建namesrv容器 创建namesrv容器时部署RocketMQ的基础，方式也很简单。 1、拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0 2、新建文件夹 用于存放我们的容器位置，我的叫/home/linux。大家的需要自行设置。 mkdir /home/linux/mq 3、启
docker 部署rockermq双主双从集群
云深海阔专栏
04-24 672
1、pull rocketmq镜像 [root@rocketmq01 ~]# docker pull styletang/rocketmq-console-ng:latest latest: Pulling from styletang/rocketmq-console-ng e12c678537ae: Pull complete 8d9ed335b7db: Pull complete 3318dd58ae60: Pull complete 624ba6156166: Pull complete
docker安装Rocketmq
扭曲的影子
04-07 2685
服务器厂商：腾讯云 服务类型 ：CentOS-7.6 搜索镜像 docker search rocketmq 检索具体版本 我选择第一个，如foxiswho/rocketmq，以下是一个查看当前镜像所有的版本shell命令： curl https://registry.hub.docker.com/v1/repositories/foxiswho/rocketmq/tags | tr -d '[\[\]" ]' | tr '}' '\n' | awk -F: -v image='f.
docker环境下搭建rocketmq集群
haohulala的博客
04-15 1355
上面两个分别对应nameserver结点和broker结点，这里简单介绍一下，nameserver结点有点像服务注册和发现中心，broker结点就是实际干活的结点，dashboard是一个可视化的监控页面，可以让我们非常方便地监控rocketmq的工作情况。你也可以像上面这篇文章一样拉取一个镜像启动server和broker，但是我没有成功，然后按照下面这篇文章的思路成功了。文章说拉取的镜像是foxiswho/rocketmq，其实不是的，拉取的就是我上面写的两个不同tag的镜像。首先是server结点。
RocketMQ集群搭建记录（三主三从）
wulitaotao96的博客
04-30 2539
一、方案目标： - 三主三从 - 异步同步消息 - 异步刷盘 二、机器信息： 共三台机器，每台上分别布有一台主从。 如下： 机器1 broker-a broker-b-s 机器2 broker-b broker-c-s 机器3 broker-c broker-a-s 三、搭建步骤： 1 上传解压，新建目录 上传压缩包至 /tmp，解压到/usr/local unzip 压缩包名(rocketXXXX)...
RocketMQ三主三从二命名服务平滑版本升级实操
dianhe7741的博客
04-24 721
​本文介绍本次进行RocketMQ平滑过渡升级的实际操作 前文已经介绍过了升级基本原理，主要思想就是先升级NameSrv（命名服务）然后在升级broker节点。broker节点先升级master节点然后再升级slave节点。 我们先看下RocketMQ架构图 这里介绍实际操作是怎么样。 首先介绍我们使用RocketMQ实际架设的情况。 主机一共6台分别是： ...
【RocketMQ、Docker】Docker 安装 RocketMQ-4.9.3：主从集群
apple_csdn的博客
06-15 532
1、创建挂载的目录 2、使用Docker命令复制Name Server服务中得Broker配置。 docker cp 容器ID:容器内文件位置 本地位置 3、修改conf中的broker.conf文件 rocketmq默认配置和解释(详细版) 4、创建容器 5、创建成功 1、创建挂载的目录 2、使用Docker命令复制Name Server服务中得Broker配置。 docker cp 容器ID:容器内文件位置 本地位置 3、修改conf中的broker.conf文件 rocketmq默认配置和解释(详
Docker安装多主多备rocketMQ集群
weixin_32822759的博客
07-09 341
docker下安装rocketmq集群
docker-compose 安装nacos 2.10 集群
09-06
要在docker-compose中安装Nacos 2.10集群，你需要遵循以下步骤： 第一步：创建docker-compose.yml文件 首先，创建一个名为docker-compose.yml的文件，并定义服务的配置。在该文件中，可以定义多个Nacos实例以创建...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

熟透的蜗牛

永远满怀热爱，永远热泪盈眶

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值