Docker 安装RocketMQ集群

最新推荐文章于 2024-06-06 13:22:12 发布
置顶 最新推荐文章于 2024-06-06 13:22:12 发布
阅读量1.5w 收藏 13
点赞数 6
文章标签： docker java rocketMQ docker-compose
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32510597/article/details/105882659
版权

Docker 安装RocketMQ集群


首先新建一个工作目录 mkdir -p /usr/local/chen/temp/rocketmq/demo，接下来 RocketMQ相关文件都放在该目录下,下载 rocketmq-all-4.7.0-bin-release.zip文件。在工作目录下载文件。运行 wget https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.7.0/rocketmq-all-4.7.0-bin-release.zip。
在这里插入图片描述
如果想换其他版本，直接换版本号即可。然后解压该文件。 unzip rocketmq-all-4.7.0-bin-release.zip。
在这里插入图片描述
由于本机是在4核8g内存的虚拟机上配置的，所以需要修改相关配置。这些配置和机器配置有关。读者可以根据自己的机器进行修改。首先修改 runserver.sh文件。运行 vim /usr/local/chen/temp/rocketmq/demo/rocketmq-all-4.7.0-bin-release/bin/runserver.sh。修改默认的配置 JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"为 JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=64m -XX:MaxMetaspaceSize=128m"。修改后如下图所示。
在这里插入图片描述
然后修改 runbroker.sh文件。运行 vim /usr/local/chen/temp/rocketmq/demo/rocketmq-all-4.7.0-bin-release/bin/runbroker.sh。修改默认配置 

JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"  
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=0"

为

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m"  
JAVA_OPT="${JAVA_OPT} -XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=10 -XX:InitiatingHeapOccupancyPercent=30 -XX:SoftRefLRUPolicyMSPerMB=1000"

修改后如下图所示:
在这里插入图片描述
然后建立集群需要的配置文件。在根目录建立broker-conf文件夹。运行mkdir -p /usr/local/chen/temp/rocketmq/demo/broker-conf。然后建立两个broker集群需要的配置文件。目录结构如下：
在这里插入图片描述
每个文件对应的内容为：

broker0-n0.conf

brokerClusterName = DefaultCluster
brokerName = broker0
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker0
dLegerPeers = n0-broker0n0:40911;n1-broker0n1:40911;n2-broker0n2:40911
dLegerSelfId = n0
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 10911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

在这里插入图片描述
其中brokerIP1 = 192.168.114.135配置的是虚拟机的IP，读者需要根据自己的IP进行修改。sendMessageThreadPoolNums = 4因为本机是4核，所以配置为4，读者可以根据自己机器配置进行修改。以下内容大同小异，直接贴源码。

broker0-n1.conf


brokerClusterName = DefaultCluster
brokerName = broker0
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker0
dLegerPeers = n0-broker0n0:40911;n1-broker0n1:40911;n2-broker0n2:40911
dLegerSelfId = n1
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 11911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

broker0-n2.conf

brokerClusterName = DefaultCluster
brokerName = broker0
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker0
dLegerPeers = n0-broker0n0:40911;n1-broker0n1:40911;n2-broker0n2:40911
dLegerSelfId = n2
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 12911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

broker1-n0.conf

brokerClusterName = DefaultCluster
brokerName = broker1
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker1
dLegerPeers = n0-broker1n0:40911;n1-broker1n1:40911;n2-broker1n2:40911
dLegerSelfId = n0
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 20911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

broker1-n1.conf

brokerClusterName = DefaultCluster
brokerName = broker1
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker1
dLegerPeers = n0-broker1n0:40911;n1-broker1n1:40911;n2-broker1n2:40911
dLegerSelfId = n1
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 21911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

broker1-n2.conf


brokerClusterName = DefaultCluster
brokerName = broker1
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH

# dleger
enableDLegerCommitLog = true
dLegerGroup = broker1
dLegerPeers = n0-broker1n0:40911;n1-broker1n1:40911;n2-broker1n2:40911
dLegerSelfId = n2
sendMessageThreadPoolNums = 4

# namesrv的地址和端口，这里设置为虚拟机的IP，以便于让测试机访问
namesrvAddr=192.168.114.135:9876
# 该broker的IP地址，由于测试需要让其他机器访问，因此设置为虚拟机的IP
brokerIP1 = 192.168.114.135
listenPort = 22911

#存储路径
storePathRootDir=/app/data/store
#commitLog存储路径
storePathCommitLog=/app/data/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/app/data/store/consumequeue
#索引存储路径
storePathIndex=/app/data/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/data/store/checkpoint
#abort文件存储路径
abortFile=/app/data/store/abort

然后在根目录下新建文件rocketmq-namesrv.dockerfile以构建namrsrv镜像的Dockerfile。运行vim rocketmq-namesrv.dockerfile。源码如下:

rocketmq-namesrv.dockerfile

FROM openjdk:8u212-jre-alpine3.9
  
LABEL MAINTAINER='cn.edu.njust.chen'

ADD rocketmq-all-4.7.0-bin-release /app/rocketmq
ENTRYPOINT exec sh /app/rocketmq/bin/mqnamesrv -n 127.0.0.1:9876
RUN echo "Asia/Shanghai" > /etc/timezone

EXPOSE 9876

在这里插入图片描述
接着构建broker镜像的Dockerfile，根目录下新建文件rocketmq-broker.dockerfile, 运行vim rocketmq-broker.dockerfile，内容如下：

FROM openjdk:8u212-jre-alpine3.9
  
LABEL MAINTAINER='cn.edu.njust.chen'

ADD rocketmq-all-4.7.0-bin-release /app/rocketmq
RUN echo "Asia/Shanghai" > /etc/timezone

ENTRYPOINT exec sh /app/rocketmq/bin/mqbroker -c /app/data/conf/broker.conf
VOLUME /app/data

在这里插入图片描述
最后创建docker-compose文件,在根目录下新建文件docker-compose.yml, 运行vim docker-compose.yml。内容如下：

version: "3.5"

services:
  # 运行一个name server
  namesrv1:
    build:
      context: .
      dockerfile: rocketmq-namesrv.dockerfile
    image: rocketmq-namesrv/4.7.0
    container_name: namesrv1
    restart: always
    networks:
      rocketmq-dledger:
    ports:
      - 9876:9876

  # 运行一个rocketmq控制台服务
  console:
    image: styletang/rocketmq-console-ng
    container_name: console
    depends_on:
      - namesrv1
    environment:
      - JAVA_OPTS= -Dlogging.level.root=info   -Drocketmq.namesrv.addr=namesrv1:9876
      - Dcom.rocketmq.sendMessageWithVIPChannel=false
    networks:
      rocketmq-dledger:
    ports:
      - 8087:8080

  # broker0

  broker0-n0:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker0n0
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker0-n0.conf:/app/data/conf/broker.conf
      - ./store/broker0n0:/app/data/store
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912

  broker0-n1:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker0n1
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker0-n1.conf:/app/data/conf/broker.conf
      - ./store/broker0n1:/app/data/store
    ports:
      - 11909:11909
      - 11911:11911
      - 11912:11912

  broker0-n2:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker0n2
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker0-n2.conf:/app/data/conf/broker.conf
      - ./store/broker0n2:/app/data/store
    ports:
      - 12909:12909
      - 12911:12911
      - 12912:12912

  # broker1

  broker1-n0:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker1n0
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker1-n0.conf:/app/data/conf/broker.conf
      - ./store/broker1n0:/app/data/store
    ports:
      - 20909:20909
      - 20911:20911
      - 20912:20912

  broker1-n1:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker1n1
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker1-n1.conf:/app/data/conf/broker.conf
      - ./store/broker1n1:/app/data/store
    ports:
      - 21909:21909
      - 21911:21911
      - 21912:21912

  broker1-n2:
    build:
      context: .
      dockerfile: rocketmq-broker.dockerfile
    image: rocketmq-broker/4.7.0
    depends_on:
      - namesrv1
    container_name: broker1n2
    restart: always
    networks:
      rocketmq-dledger:
    volumes:
      - ./broker-conf/broker1-n2.conf:/app/data/conf/broker.conf
      - ./store/broker1n2:/app/data/store
    ports:
      - 22909:22909
      - 22911:22911
      - 22912:22912

networks:
  rocketmq-dledger:

至此系统需要文件全部创建完毕。目录结构如下：
在这里插入图片描述
然后运行docker-compose up启动服务。
在这里插入图片描述
服务成功启动。运行docker info查看服务状态。
在这里插入图片描述
服务已经全部启动。然后在浏览器输入http://192.168.114.135:8087/#/访问系统即可。
在这里插入图片描述

2、总结

  书上的代码直接运行绝大部分是对的，但是总有一些软件的更新使得作者无能为力。之前的API是对的，但是之后就废弃了或修改了是常有的事。所以我们需要跟踪源代码。这只是一个小小的问题，如果没有前辈的无私奉献，很难想象我们自己一天能学到多少内容。感谢各位前辈的辛勤付出，让我们少走了很多的弯路！

点个赞再走呗！欢迎留言哦！

qq_32510597
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
Rocketmq详解02-mq安装
a2868221132的博客
06-23 2062
1.创建namesrv服务 拉取镜像 docker pull rocketmqinc/rocketmq:4.4.0 创建namesrv数据存储路径 mkdir -p /docker/rocketmq/data/namesrv/logs /docker/rocketmq/data/namesrv/store 构建namesrv容器 docker run -d \ --restart=always \ --name rmqnamesrv \ -p 9876:9876 \ -v /docker/rock
docker、docker-compose部署rocketmq4.7.0
aimcode
07-21 360
docker部署rocketmq4.7.0、docker-compose部署rocketmq4.5.2
三台服务器部署RocketMQ集群的详细步骤
最新发布
u011197085的博客
06-06 1317
在各台服务器上分别启动配置的 Broker：(启动Broker时，推荐的顺序是先启动Master，再启动Slave。虽然从技术上讲，启动顺序不严格，但这种顺序可以确保在启动过程中尽可能避免问题。至此，RocketMQ 集群的搭建完成。确保所有三台服务器都已安装1.8以上版本的JDK，并配置环境变量。这些命令将停止所有相关的RocketMQ服务进程。检查内存使用情况，确保调整后的内存配置生效。确保按照上述步骤配置存储路径时使用。在所有三台服务器上找到并编辑。在所有三台服务器上找到并编辑。
docker安装rocketmq
weixin_38698418的博客
07-20 236
docker 安装rocketmq
docker构建rocketMq集群
qq_39203337的博客
04-12 384
需要往集群中添加其他的brokerji节点，只需要从第四部开始即可(需要拉取docker镜像)、修改响应的配置参数和启动参数即可。只有在启动了namesrv的机器上才添加该参数，集群中的其他节点不需要添加该参数。#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；集群中各broker节点只需要连接到相同的NAMESRV_ADDR并且在上面的配置文件中指定唯一的brokerId即可。#broker名称，master和slave使用相同的名称，表明他们的主从关系。
docker搭建rocketmq集群
鶸者为何战斗
03-07 3821
借鉴于 https://www.cnblogs.com/qdhxhz/p/11096682.html 但是其中有一些错误，本人进行了修改 docker-compose.yml version: '3.5' services: rmqnamesrv-a: image: rocketmqinc/rocketmq:4.3.0 container_name: rmqnames...
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
docker-compose 搭建RocketMQ 5.1.0 集群
08-02
Docker-Compose 搭建 RocketMQ 5.1.0 集群 Docker-Compose 是一个流行的容器编排工具，可以快速搭建和管理容器集群。在这篇文章中，我们将使用 Docker-Compose 搭建一个 RocketMQ 5.1.0 集群，包括 NameServer、...
RocketMQ-3.5.8双主双从配置及部署说明
10-29
`RocketMQ笔记(1)_Linux下编译部署.pdf`文档将指导你如何在Linux系统上编译和安装RocketMQ。步骤通常包括： 1. 安装必要的依赖，如JDK、Maven等。 2. 下载RocketMQ源码。 3. 使用Maven进行编译。 4. 配置环境变量，...
快速学习-RocketMQ Dledger集群搭建
逍遥云恋
09-20 755
Dledger集群搭建 前言 该文档主要介绍如何部署自动容灾切换的 RocketMQ-on-DLedger Group。 RocketMQ-on-DLedger Group 是指一组相同名称的 Broker，至少需要 3 个节点，通过 Raft 自动选举出一个 Leader，其余节点 作为 Follower，并在 Leader 和 Follower 之间复制数据以保证高可用。 RocketMQ-on-DLedger Group 能自动容灾切换，并保证数据一致。 RocketMQ-on-DLedger Gr
Docker部署RocketMQ集群
Eddie'Blog
02-06 356
文章目录前言一、写配置文件二、环境部署 前言 本文转载 https://www.cnblogs.com/qdhxhz/p/11096682.html 亲测可用, 学习参考，使用伪集群形式搭建。 一、写配置文件 1、创建所需文件夹 mkdir -p /opt/rocketmq/logs/nameserver-a mkdir -p /opt/rocketmq/logs/nameserver-b mkdir -p /opt/rocketmq/store/nameserver-a mkdir -p /opt
RocketMQ-broker.conf 配置文件
v慕言的博客
07-10 5995
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the
RocketMQ 4.7.1 基于Dledger部署容灾集群和组扩展
VincentQB的博客
07-27 1415
简单说明： RocketMQ 在4.5版本之后可以基于Dledger部署自动容灾切换的RocketMQ集群 本博文检录集群部署和组扩展过程，包括2个NameServer实例和两组3实例的BrokerServer组 集群主机列表： IP 主机名 集群角色 资源 系统版本 -------------- ------ --------- ----- ------- 192.168.77.101 vm1 ns1 bs11 2U/4G CentOS6 19
rocketmq DLedger集群搭建（docker）
weixin_43931625的博客
09-18 1722
rocketmq Dledger集群搭建（docker）
【RockerMq】Docker创建Rocketmq
h609232722的专栏
09-28 267
docker 安装rockemq
快速学习-RocketMQ架构设计
逍遥云恋
09-18 427
架构设计 1 技术架构 RocketMQ架构上主要分为四部分，如上图所示: Producer：消息发布的角色，支持分布式集群方式部署。Producer通过MQ的负载均衡模块选择相应的Broker集群队列进行消息投递，投递的过程支持快速失败并且低延迟。 Consumer：消息消费的角色，支持分布式集群方式部署。支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制，可以满足大多数用户的需求。 NameServer：NameServer是一
docker部署rocketmq(亲测有效)
q365807701的博客
07-06 6754
docker安装，部署rocketmq

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值