rocketmq集群搭建笔记

已于 2022-09-15 21:32:44 修改
阅读量758 收藏 2
点赞数
分类专栏： Java学习笔记--old 文章标签： rocketmq 环境搭建 java 消息队列
于 2022-09-15 21:26:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xichengfengyulou/article/details/126880010
版权

rocketmq集群搭建笔记

本次搭建的是双Master+双Slave集群模式

笔记最后记录了本次安装出现的一些问题，以及解决方法

一、依赖下载

  1. rocketmq二进制，版本是4.9.0
  2. rocketmq-dashboard，版本1.0.0

二、环境准备

  1. 操作系统

    采用虚拟机安装，所使用的虚拟机是UbuntuServer 20.04TLS Arm

  2. maven

    从源码构建rocketmq-dashboard需要使用maven，采用的版本为3.6.3，ubuntu系统可使用下列命令安装

    sudo apt-get install maven

    安装后，可使用下列命令找到maven的安装位置，我的虚拟机显示maven的安装位置为/usr/share/maven

    whereis maven

    修改maven的镜像源为阿里源，进入maven的安装目录，进入conf目录，然后使用vim在settings.xml文件的<mirrors>标签内添加如下内容:

    <mirror>
	<id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>

  3. openjdk8

    rocketmq使用java开发，所以需要安装java环境，这里也是直接从ubuntu下载，输入如下命令即可

    sudo apt-get install openjdk-8-jdk

  4. 将上述依赖中的两个文件下载，并上传到虚拟机中（windows下面可以使用xftp，mac下面可以使用royal tsx），至此准备环境完毕

三、集群搭建

3.1 虚拟机规划

本次集群安装使用了两个独立的虚拟机，UbuntuServer1和UbuntuServer2，两个虚拟机安装的内容如下:

  1. UbuntuServer1

    名称使用端口
    NameServer9876
    broker-b（Master）18001
    broker-a （Slave）17003
    rocketmq-dashboard19001

  2. UbuntuServer2

    名称使用端口
    NameServer9876
    broker-a（Master）17001
    broker-b（Slave）18003

3.2 安装步骤

  1. 上传文件以及解压

    在UbuntuServer1虚拟机中上传rocketmq以及rocketmq-dashborad压缩包，并解压

  2. 在UbuntuServer1中从源码编译rocketmq-dashboard

    只要修改了maven的镜像源为阿里源，那么参考官方的源码编译步骤，应该没什么问题

    官方教程链接

  3. 进入rocketmq-all（这个目录是我解压rocketmq官方二进制压缩包后自己修改的名称）文件夹下的/conf/2m-2s-async目录

    这个目录下面是官方为我们提供的双主双从集群模式的配置文件模版

    将broker-b.properties文件的内容替换如下

    brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=10.211.55.67:9876;10.211.55.68:9876
# 设置MasterB的监听端口
listenPort=18001

    将broker-a-s.properties文件的内容替换如下

    brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=10.211.55.67:9876;10.211.55.68:9876
# 设置SlaveA的监听端口
listenPort=17003
# 这里的路径替换为自己的
storePathRootDir=/home/xcfyl/store-s
storePathCommitLog=/home/xcfyl/store-s/commitlog
storePathConsumeQueue=/home/xcfyl/store-s/consumequeue
storePathIndex=/home/xcfyl/store-s/index
storeCheckpoint=/home/xcfyl/store-s/checkpoint
abortFile=/home/xcfyl/store-s/abort

    自此UbuntuServer1虚拟机中的配置环境已经准备好了

  4. 按照同样的方式，修改UbuntuServer2中的rocketmq-all文件夹下面的配置文件，具体如下

    将broker-a.properties文件的内容替换如下

    brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=ASYNC_MASTER
flushDiskType=ASYNC_FLUSH
namesrvAddr=10.211.55.67:9876;10.211.55.68:9876
# 设置MasterA的监听端口
listenPort=17001

    将broker-b-s.properties文件的内容替换如下

    brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
namesrvAddr=10.211.55.67:9876;10.211.55.68:9876
# 设置SlaveB的监听端口
listenPort=18003
storePathRootDir=/home/xcfyl/store-s
storePathCommitLog=/home/xcfyl/store-s/commitlog
storePathConsumeQueue=/home/xcfyl/store-s/consumequeue
storePathIndex=/home/xcfyl/store-s/index
storeCheckpoint=/home/xcfyl/store-s/checkpoint
abortFile=/home/xcfyl/store-s/abort

    自此UbuntuServer2虚拟机中的配置环境已经准备好了，这里要非常小心，不要改错了文件，不然后面会导致启动出现问题

3.3 集群启动

启动集群的时候，请严格按照下述步骤

  1. 分别在UbuntuServer1和UbuntuServer2中启动NameServer，使用命令如下，运行该指令，需要进入rocketmq-all目录下

    # 启动nameserver
nohup sh bin/mqnamesrv &
# 查看日志，如果出现boot success类似的字样，那么一般就是成功了
tail -f ~/logs/rocketmqlogs/namesrv.log

  2. 启动UbuntuServer1和UbuntuServer2中的Master，使用命令如下

    UbuntuServer1启动Master，使用的配置文件是broker-b.properties，因为要在UbuntuServer1中部署名称为broker-b的Master节点，参见之前的虚拟机规划

    # 启动名称为broker-b的Master
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties & tail -f ~/logs/rocketmqlogs/broker.log
# 查看是否启动成功
tail -f ~/logs/rocketmqlogs/broker.log

    UbuntuSever2启动Master

    # 启动名称为broker-a的Master
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties & 
# 查看是否启动成功
tail -f ~/logs/rocketmqlogs/broker.log

  3. 启动UbuntuServer1和UbuntuServer2中的Slave，使用命令如下

    UbuntuServer1启动Slave，使用的配置文件是broker-a-s.properties，因为要在UbuntuServer1中部署名称为broker-a-s的Slave节点，参见之前的虚拟机规划

    # 启动名称为broker-a-s的Slave
nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties & 
tail -f ~/logs/rocketmqlogs/broker.log

    UbuntuServer2启动Slave

    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties & 
tail -f ~/logs/rocketmqlogs/broker.log 12

  4. 运行rocketmq-dashboard

    确保在这之前已经正确编译了rocketmq-dashboard，编译完成之后，进入target目录，输入如下指令运行dashboard
    在这里插入图片描述

  5. 在宿主机上，输入http://安装了dashboard虚拟机的ip地址:19001访问控制面板
    在这里插入图片描述

  6. 如果看到了如下内容说明集群已经正常启动
    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W7yKTvZG-1663248170319)(assets/image-20220915210802666.png)]

3.4 集群关闭

进入rocketmq-all目录下面的bin目录，先后执行如下指令，即可关闭一台机器上的NameServer和Master以及Slave

# 关闭nameserver
./mqshutdown namesrv
# 关闭broker
./mqshutdown broker
# 通过jps查看java进程是否终止
jps

四、可能的问题以及解决方案

  1. 在使用nohup命令启动后台服务的时候，可能出现控制台阻塞的情况，输出一句话，但是半天不往下面走，这是正常现象，Ctrl+C即可，如果使用Ctrl+C出现了Exit的字样，那么就说明不正常了，此时可以进入rocketmq-all目录下面，查看nohup.out的内容进行排查，cat nohup.out查看即可

  2. 直接从别人的文件中拷贝broker的配置文件，结果内容完全一样，自己死活运行不起来，可能的原因是，properties文件中，某些配置项的末尾多了一些看不见的空格，这个时候，可以进入vim的命令模式（esc即可进入），然后把光标移动每一行的末尾，就可以看见多余的空格，光标移动到空格处，命令模式下按下x即可删除。

  3. 端口问题，同一台机器的两个broker的端口好像不能太近，我之前使用的全是broker的默认端口，结果就是启动不了，然后改为了较大的端口，并且两个端口差别也比较大的时候，就ok了。

  4. maven一定要修改镜像源，不然可能导致编译dashboard的过程中，报各种依赖下载错误。

  5. 关于虚拟机的问题，如果两个虚拟机是从别的虚拟机复制来的，那么要记得更改虚拟机的ip地址，可以直接将虚拟机的ip地址改为静态ip，ubuntu server的更改方法为：

    vim /etc/netplan/xx-installer-config.yaml

    将该文件修改为如下内容即可

    # This is the network config written by 'subiquity'
network:
  ethernets:
    enp0s5:
      dhcp4: false
      # 你的静态ip地址
      addresses: ['10.211.55.68/24']
      # 网关地址
      gateway4: 10.211.55.1
      # dns地址
      nameservers:
        addresses: ['10.211.55.1']
  version: 2
西城风雨楼
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ-Broker镜像制作
12-03
制作RocketMQ-Broker镜像需要的材料，制作方法见https://blog.csdn.net/wenyichuan/article/details/110541706
rocketmq-externals：Apache RocketMQ的镜像（正在孵化）
02-17
社区项目 有许多Apache RocketMQ外部项目，这些项目源于，由社区贡献和维护。 PMC将寻求开发者社区的支持，以帮助发现和在外部存储库中进行孵化的初始步骤。 如果孵化器项目满足以下要求，则可以毕业。 需要PMC 3 + 1票。 至少由三个独立的最终用户成功用于生产，根据PMC的判断，这些最终用户具有足够的质量和范围。 健康的提交者数量。 文件 毕业项目 孵化器项目 在Kubernetes上部署RocketMQ。 它是使用Operator SDK开发的，该SDK是Operator Framework的一部分。 RocketMQ-控制台 新设计的RocketMQ控制台使用spring-boot。 提供用于构建和运行Docker映像的Dockerfile和bash脚本。 从RocketMQ服务器导出指标，以供Prometheus使用。 火箭MQ-水槽 Flume Rocket
使用Dockerfile制作RocketMq的Docker镜像（任意版本）
s9434的博客
08-18 669
使用Dockerfile创建rocketmq的镜像
(Mac)RocketMQ的本地安装测试(详细图示)
最新发布
hello_world
05-10 955
3. 修改broker 配置文件，允许自动创建 topic。2. 解压缩打成 jar 包。有三种方式都可以启动。
Rocketmq 4.2.0 基于Docker构建镜像
ESSE的博客
08-07 2161
Rocketmq 4.2.0 基于Docker构建镜像 一：环境准备： Centos7，Dokcer18.03.1-ce 官方项目地址:https://github.com/apache/incubator-rocketmq-externals 里面有rocketmq的docker运行文档 二：克隆官方项目到本地宿主机： git clone https://github.c...
rocketmq：Apache RocketMQ的镜像
02-07
Apache RocketMQ 是一个分布式消息传递和流平台，具有低延迟，高性能和可靠性，万亿级容量和灵活的可伸缩性。 它具有多种功能： 消息模式包括发布/订阅，请求/答复和流式传输 财务级交易消息 基于内置容错和高可用性配置选项 各种跨语言客户端，例如Java，C / C ++，Python，Go 可插拔的传输协议，例如TCP，SSL，AIO 内置消息跟踪功能，还支持开放式跟踪 多功能的大数据和流生态系统集成 按时间或偏移量追溯消息 可靠的FIFO和严格的有序消息传递在同一队列中 高效的推拉消费模型 单个队列中的百万级消息累积容量 多种消息传递协议，例如JMS和OpenMessaging 灵活的分布式横向扩展部署架构 快如闪电的批量消息交换系统 各种消息过滤器机制，例如SQL和Tag 用于隔离测试和云隔离群集的Docker映像 功能丰富的管理仪表板，用于配置，指标和监视 认
RocketMQ黑马笔记
06-08
"RocketMQ黑马笔记" RocketMQ是阿里巴巴开源的消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。目前RocketMQ在阿里云...
尚硅谷完整的关于rocketmq的学习视频整理笔记
09-12
尚硅谷提供的 RocketMQ 学习视频笔记旨在帮助初学者系统地掌握 RocketMQ 的核心概念和使用方法。 1. **MQ 简述** 消息队列（Message Queue，MQ）是一种异步通信机制，它在生产者和消费者之间充当了缓冲的角色，...
Hadoop集群搭建笔记
04-20
非常详细的linux上的hadoop集群搭建文档，可供参考，希望大家能够从中获益
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
RocketMQ学习笔记1
08-04
RocketMQ学习笔记1 RocketMQ是Apache旗下的一个开源的消息队列系统，具有分布式、可靠、可扩展、高性能等特点。下面是对RocketMQ的学习笔记的总结。 分布式架构 RocketMQ原生支持分布式，解决了单点故障问题，...
rocketmq-externals:Apache RocketMQ的镜像（正在孵化）
05-10
社区项目 有许多Apache RocketMQ外部项目，这些项目源于，由社区贡献和维护。 PMC将依靠开发人员社区的支持，以帮助发现和在外部存储库中进行孵化的初始步骤。 如果孵化器项目满足以下要求，则可以毕业。 需要PMC 3 + 1票。 至少由三个独立的最终用户成功地用于生产中，根据PMC的判断，这些最终用户具有足够的质量和范围。 健康的提交者数量。 文件 毕业项目 孵化器项目 在Kubernetes上部署RocketMQ。 它是使用Operator SDK开发的，该SDK是Operator Framework的一部分。 RocketMQ-控制台 新设计的RocketMQ控制台使用spring-boot。 提供用于构建和运行Docker映像的Dockerfile和bash脚本。 从RocketMQ服务器导出指标，以供Prometheus使用。 火箭MQ-水槽 Flume Roc
rocketmq-dashboard包，已经编译好
04-27
原名rocketmq-console，现在在github上面改名为rocketmq-dashboard； 默认端口是8080，默认的用户密码是：admin/admin123，大家拿到jar包之后请修改配置文件里的密码，BOOT-INF/classes/users.properties； 直接使用java -jar rocketmq-dashboard-1.0.0.jar运行，可以使用nohup放到后台运行；
【Docker】RocketMQ 源码构建 Docker 镜像（基于 ARM 64 架构）
行者Sun1989的博客
01-24 973
RocketMQ 源码构建 Docker 镜像（基于 ARM 64 架构）
linux上构建任意版本的rocketmq多架构x86 arm镜像——筑梦之路
筑梦之路
10-13 1908
目前市面上和官方均只有rocketmq x86架构下的docker镜像，而随着国产化和信创适配的需求越来越多，显然现有的x86架构下的docker镜像不能满足多样化的需求，因此我们需要根据官方发布的版本制作满足需求的多架构镜像，以在不同cpu架构下部署使用。关于rocketmq的介绍请阅读官方文档，这里就不做过多赘述。
使用docker安装RocketMQ
m0_67390379的博客
08-27 654
把容器内的/root/logs日志目录挂载到宿主机的 /docker/rocketmq/data/namesrv/logs目录。把容器内的/root/store数据存储目录挂载到宿主机的 /docker/rocketmq/data/namesrv目录。指定namesrv的地址为本机namesrv的ip地址:9876。把容器内的端口8080挂载到宿主机上的9999端口。把容器内的端口9876挂载到宿主机9876上面。把容器的非vip通道端口挂载到宿主机。把容器的vip通道端口挂载到宿主机。...
【源码编译并安装RocketMQ Dashboard】
若兰幽竹
08-09 613
本文仅作为学习过程的笔记，因官网有些步骤省略或者没有写全，为了方便后续查看，也为那些初学者提供一点参考和帮助。如本文对您有所帮助，目录，在该目录下会看到编译完成后的。正常编译完成后，会生成。
新版RocketMQ可视化管理页面搭建（rocketmq-dashboard）
laizhenghua的博客
05-03 5870
现如今在GitHub apache/rocketmq-externals 项目下已经找不到 rocketmq-console模块了，官方已经从 apache/rocketmq-externals 独立出来并更名为 rocketmq-dashboard。
【RocketMQ笔记02】安装RocketMQ可视化工具rocketmq-dashboard
12-26 3071
使用IDEA打开刚刚解压得到的dashboard工程，因为rocketmq-dashboard是需要连接RocketMQ消息队列服务的，所以在它的配置文件中，需要指定RocketMQ消息队列的服务地址，修改application.properties配置文件中的rocketmq.config.namesrvAddr属性。打包成功之后，就可以在target目录下面找到生成的jar包，这个jar就是可执行的rocketmq-dashboard程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值