RocketMQ系列:docker搭建rocketmq的dledger模式集群(全网独家)

接上文:docker-compose搭建rocketmq集群环境

本文介绍如何使用play-docker-dledger.sh搭建rocketmq的集群环境

 

1 清理环境

这里需要删除刚才docker-compose创建的docker的bridge网络,否则会报错:Error response from daemon: Pool overlaps with other one on this address spa

1.1 查看docker网络

docker network ls

1.2 删除网络

docker network rm docker-compose_default

2 启动rocketmq的dledger集群

#进入对应目录
cd rocketmq-docker/stages/4.7.1/template

#执行play-docker-dledger.sh(如果build的rocketmq是centos,则直接执行成功;否则需要先docker tag一下,参考docker-compose搭建篇)
sh play-docker-dledger.sh

2.1 查看是否启动

执行:docker ps -a

如图,broker都退出了

 看下日志报错:docker logs b0a03fa0b4cf

 

报错:启动broker找不到对应的配置文件broker.conf,我们看下play-docker-dledger.sh脚本。

 2.2 查看play-docker-dledger.sh

# Create network
# 这里是创建一个docker的bridge网络,用于nameserver和broker直接通信
docker network create --subnet=172.18.0.0/16 dledger-br

# Start nameserver
# 启动nameserver,这里--net指定了bridge网络
docker run --net dledger-br --ip 172.18.0.11  -d -p 9876:9876 -v `pwd`/data/namesrv/logs:/home/rocketmq/logs --name rmqnamesrv  apacherocketmq/rocketmq:4.7.1 sh mqnamesrv

# Start Brokers
# 这里也同样是使用bridge网络连namserver
docker run --net dledger-br --ip 172.18.0.12 -d -p 30911:30911 -p 30909:30909 -v `pwd`/data/broker0/logs:/home/rocketmq/logs -v `pwd`/data/broker0/store:/home/rocketmq/store -v `pwd`/data/broker0/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c  ../conf/dledger/broker.conf
docker run --net dledger-br --ip 172.18.0.13 -d -p 30921:30921 -p 30919:30919 -v `pwd`/data/broker1/logs:/home/rocketmq/logs -v `pwd`/data/broker1/store:/home/rocketmq/store -v `pwd`/data/broker1/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker1 --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c  ../conf/dledger/broker.conf
docker run --net dledger-br --ip 172.18.0.14 -d -p 30931:30931 -p 30929:30929 -v `pwd`/data/broker2/logs:/home/rocketmq/logs -v `pwd`/data/broker2/store:/home/rocketmq/store -v `pwd`/data/broker2/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker2 --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c  ../conf/dledger/broker.conf

2.3 修改脚本

问题应该是出在启动命令这里:

sh mqbroker -c ../conf/dledger/broker.conf

这里应该写成绝对路径(看来原脚本是有bug的):

sh mqbroker -c /opt/rocketmq-4.7.1/conf/dledger/broker.conf

脚本内容改成如下:

docker run --net dledger-br --ip 172.18.0.12 -d -p 30911:30911 -p 30909:30909 -v `pwd`/data/broker0/logs:/home/rocketmq/logs -v `pwd`/data/broker0/store:/home/rocketmq/store -v `pwd`/data/broker0/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf
docker run --net dledger-br --ip 172.18.0.13 -d -p 30921:30921 -p 30919:30919 -v `pwd`/data/broker1/logs:/home/rocketmq/logs -v `pwd`/data/broker1/store:/home/rocketmq/store -v `pwd`/data/broker1/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker1 --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf
docker run --net dledger-br --ip 172.18.0.14 -d -p 30931:30931 -p 30929:30929 -v `pwd`/data/broker2/logs:/home/rocketmq/logs -v `pwd`/data/broker2/store:/home/rocketmq/store -v `pwd`/data/broker2/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker2 --link rmqnamesrv:namesrv -e "NAMESRV_ADDR=namesrv:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf

2.4 重新运行play-docker-dledger.sh

#进入对应目录
cd rocketmq-docker/stages/4.7.1/template

#执行play-docker-dledger.sh(如果build的rocketmq是centos,则直接执行成功;否则需要先docker tag一下,参考docker-compose搭建篇)
sh play-docker-dledger.sh

输入docker ps -a,查看是否启动

2.5 查看集群信息

docker exec -it rmqbroker1 ./mqadmin clusterList -n {宿主机ip}:9876 

看到如图所示内容说明dledger模式的rocketmq单集群OK了。我们可以通过上图中的mqadmin对rocketmq的集群进行相关操作,但是在实际的使用场景里,服务A如果想要使用rocketmq,首先访问的是rocketmq的namserver,但nameserver,broker的实际ip均处于docker的bridge网络中(脚本中的dledger-br),其ip地址如上图的172.18.0.x,外部机器是无法与这个网段进行直接通信(网络隔离)。那么该如何解决这个问题呢?

我们可以使用docker的host网络共享宿主机的网络,这有就可以直接访问,所以还要在play-docker-dledger.sh中改造下脚本。

3. 改造脚本和配置

这里需要改造两个部分,一个是play-docker-dledger.sh,另外是三个broker对应的broker.conf的内容。

3.1 修改play-docker-dledger.sh

假设我的本机的ip为10.10.10.15

3.1.1  nameserver

修改脚本:

  • 修改--net dledger-br为--net host
  • 删除指定ip选项:--ip xxx

play-docker-dledger.sh:

#这里使用host模式
docker run --net host  -d -p 9876:9876 -v `pwd`/data//logs:/home/rocketmq/logs --name rmqnamesrv  dockerhub.qingcloud.com/apacherocketmq/rocketmq:4.7.1 sh mqnamesrv 

3.1.2 broker

修改脚本

  • 修改--net dledger-br为--net host

  • 删除--link rmqnamesrv:namesrv

  • 修改NAMESRV_ADDR=namesrv:9876为本机网卡IP:NAMESRV_ADDR=10.10.10.15:9876

  • 删除指定ip选项:--ip xxx

修改broker.conf

     rocketmq-docker/stages/4.7.1/template下

  • data/broker0/conf/dledger/broker.conf
  • data/broker1/conf/dledger/broker.conf
  • data/broker2/conf/dledger/broker.conf

修改play-docker-dledger.sh:

docker run --net host -d -p 30911:30911 -p 30909:30909 -v `pwd`/data/broker0/logs:/home/rocketmq/logs -v `pwd`/data/broker0/store:/home/rocketmq/store -v `pwd`/data/broker0/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker   -e "NAMESRV_ADDR=10.10.10.15:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf
docker run --net host -d -p 30921:30921 -p 30919:30919 -v `pwd`/data/broker1/logs:/home/rocketmq/logs -v `pwd`/data/broker1/store:/home/rocketmq/store -v `pwd`/data/broker1/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker1  -e "NAMESRV_ADDR=10.10.10.15:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf
docker run --net host -d -p 30931:30931 -p 30929:30929 -v `pwd`/data/broker2/logs:/home/rocketmq/logs -v `pwd`/data/broker2/store:/home/rocketmq/store -v `pwd`/data/broker2/conf/dledger:/opt/rocketmq-4.7.1/conf/dledger --name rmqbroker2  -e "NAMESRV_ADDR=10.10.10.15:9876" apacherocketmq/rocketmq:4.7.1 sh mqbroker  -c   /opt/rocketmq-4.7.1/conf/dledger/broker.conf

修改data/broker0/conf/dledger/broker.conf

brokerClusterName = RaftCluster
brokerName=RaftNode00
brokerIP1=10.10.10.15
brokerIP2=10.10.10.15
listenPort=40911
namesrvAddr=10.10.10.15:9876
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-10.10.10.15:30911;n1-10.10.10.15:30912;n2-10.10.10.15:30913
## must be unique
dLegerSelfId=n0
sendMessageThreadPoolNums=16

修改data/broker1/conf/dledger/broker.conf

brokerClusterName = RaftCluster
brokerName=RaftNode00
brokerIP1=10.10.10.15
brokerIP2=10.10.10.15
listenPort=40921
namesrvAddr=10.10.10.15:9876
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-10.10.10.15:30911;n1-10.10.10.15:30912;n2-10.10.10.15:30913
## must be unique
dLegerSelfId=n1
sendMessageThreadPoolNums=16

修改data/broker2/conf/dledger/broker.conf

brokerClusterName = RaftCluster
brokerName=RaftNode00
brokerIP1=10.10.10.15
brokerIP2=10.10.10.15
listenPort=40931
namesrvAddr=10.10.10.15:9876
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-10.10.10.15:30911;n1-10.10.10.15:30912;n2-10.10.10.15:30913
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=16 

3.2 重新运行play-docker-dledger.sh

#进入对应目录
cd rocketmq-docker/stages/4.7.1/template

#执行play-docker-dledger.sh(如果build的rocketmq是centos,则直接执行成功;否则需要先docker tag一下,参考docker-compose搭建篇)
sh play-docker-dledger.sh

docker exec -it rmqbroker1 ./mqadmin clusterList -n {宿主机ip}:9876  

下一节我们在远程机器上使用producer和consumer分别对本集群进行压测实验。

传送门:2021最新测试资料与大厂招聘合集

博主:测试生财(一个不为996而996的测开码农)

座右铭:专注测试开发与自动化运维,努力读书思考写作,为内卷的人生奠定财务自由。

内容范畴:技术提升,职场杂谈,事业发展,阅读写作,投资理财,健康人生。

csdn:https://blog.csdn.net/ccgshigao

博客园:https://www.cnblogs.com/qa-freeroad/

51cto:https://blog.51cto.com/14900374

微信公众号:测试生财(定期分享独家内容和资源)

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
### 回答1: 要搭建RocketMQ集群,可以使用Docker容器化技术来实现。以下是搭建RocketMQ集群的步骤: 1. 安装DockerDocker Compose 2. 创建一个Docker Compose文件,定义RocketMQ集群的配置和服务 3. 在Docker Compose文件中定义三个服务:NameServer、Broker和Console 4. 配置NameServer服务,指定NameServer的端口和集群名称 5. 配置Broker服务,指定Broker的端口、NameServer地址和集群名称 6. 配置Console服务,指定Console的端口和NameServer地址 7. 启动Docker Compose,创建RocketMQ集群 8. 使用RocketMQ Console管理和监控集群 以上是搭建RocketMQ集群的基本步骤,具体的实现细节可以参考RocketMQ官方文档和Docker官方文档。 ### 回答2: RocketMQ是一个 Apache 开源的分布式消息传递系统,在分布式应用中广泛应用。它具有高可用性、高并发性、高性能、可扩展性等优点。Docker 是一种容器化技术,它可以将应用程序及其依赖项打包成一个 Docker 容器,从而使应用程序在运行时具有一致的环境。这就为 RocketMQ 集群搭建提供了很大的便利。这里我们就以 Docker 为基础,来讲解如何搭建 RocketMQ 集群。 第一步,创建 Dockerfile 我们首先需要创建 Dockerfile,该文件用于指导 Docker 构建 RocketMQ 集群。以下是 Dockerfile 内容: FROM java:8-jre ENV ROCKETMQ_VERSION=4.3.2 ENV ROCKETMQ_HOME=/opt/rocketmq-${ROCKETMQ_VERSION} ADD rocketmq-all-${ROCKETMQ_VERSION}-bin-release.tar.gz /opt RUN ln -s ${ROCKETMQ_HOME}/bin/mqnamesrv /usr/local/bin && ln -s ${ROCKETMQ_HOME}/bin/mqbroker /usr/local/bin CMD cd ${ROCKETMQ_HOME}/bin && nohup sh mqnamesrv & CMD cd ${ROCKETMQ_HOME}/bin && sleep 5 && sh mqbroker -n namesrv:9876 autoCreateTopicEnable=true 第二步,构建 Docker image 我们使用以下命令构建 Docker image: $ docker build -t rocketmq:4.3.2 . 第三步,运行容器 接下来在一台机器上启动该镜像的多个容器,每个容器都要有一个不同的名字和 IP 地址,这样它们之间才能通信。RocketMQ 集群需要两个组件:NameServer 和 Broker。 启动 NameServer 容器: $ docker run --name rmqnamesrv -p 9876:9876 -d rocketmq:4.3.2 sh mqnamesrv 启动 Broker 容器: $ docker run --name rmqbroker -p 10911:10911 -p 10909:10909 \ -e "NAMESRV_ADDR=192.168.1.100:9876;192.168.1.101:9876" \ -e "JAVA_OPTS=-Duser.home=/opt" \ --link rmqnamesrv:namesrv \ -d rocketmq:4.3.2 -e "NAMESRV_ADDR" 用于指定 NameServer 的地址,并以分号分隔;-e "JAVA_OPTS" 用于指定 JAVA_HOME 路径。 第四步,测试 RocketMQ 集群 我们可以使用以下命令测试该 RocketMQ 集群是否正常: $ docker exec -it rmqbroker sh mqadmin clusterList -n namesrv:9876 输出如下: Cluster Name: DefaultCluster Cluster Status: OK 至此,我们成功搭建RocketMQ 集群RocketMQ 集群搭建十分简单,只需按照上述步骤操作即可。对于生产环境,需要更加细致地考虑配置和优化。 ### 回答3: RocketMQ是一款开源的分布式消息中间件,它使用广泛且可靠,尤其是应用在高并发场景下。而Docker则是现在非常火热的容器化技术,它可以轻松的实现RocketMQ集群部署。下面,我们将介绍如何使用Docker搭建RocketMQ集群。 首先要做的是创建一个Docker容器并安装RocketMQ,容器可以复制多个并形成集群。在这个过程中,我们可以使用开源的RocketMQ容器来作为我们的基础镜像。我们可以使用docker pull指令从docker hub拉取RocketMQ官方镜像,然后运行docker run命令将容器启动起来。启动容器时,需要指定一些参数以方便配置RocketMQ。例如: docker run -d --name rmqnamesrv --restart=always -p 9876:9876 -v /mnt/docker/namesrv/logs:/root/logs -e "MAX_POSSIBLE_HEAP=100000000" -e "JAVA_OPT_EXT=-server -Xms512m -Xmx512m -Xmn256m" rocketmqinc/rocketmq:4.3.2 sh mqnamesrv 该命令意味着我们正在创建一个名为rmqnamesrv的容器,并将容器的5672端口映射到宿主机的5672端口,还为容器设置了一个存储卷用于存储RocketMQ的日志,以及设置了Java运行参数等。 类似于namesrv容器,我们还可以使用该命令创建broker容器,以实现RocketMQ集群,我们可以在同一台主机上启动多个容器,也可以在多台主机上启动多个容器,并连接它们的端口,从而实现分布式部署模式。 接下来,我们需要进行配置操作,通过修改配置文件来允许程序在集群环境中工作。例如修改broker的配置文件broker.conf,配置完后需要将该文件映射到相关容器中,以使配置生效。 最后,我们需要将Docker配置成依据我们指定的规则,在多个容器之间启动和停止,从而使整个集群能够随时运行和维护。这意味着我们需要创建脚本和服务来管理容器的启动和停止,并处理容器之间的通信,以此表现Docker的自动化管理。这可以通过Docker Compose来实现,该工具使我们能够启动和停止多个容器,并将它们组织成服务。 总之,通过使用Docker搭建RocketMQ集群,使得我们不必关心繁琐的安装和配置过程,它简化了部署,增强了系统的可维护性和可扩展性。当然,要加强对DockerRocketMQ的学习,熟悉更多命令和配置以适应不同场景下的构建。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

公众号-测试生财

点赞和关注比打赏更重要

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值