rocketmq双主双从部署+dashbord

已于 2024-03-18 11:17:53 修改
阅读量731 收藏 8
点赞数 5
文章标签： java-rocketmq rocketmq java
于 2024-01-19 18:37:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Grey_fantasy/article/details/135704413
版权

1、主机规划

主机节点地址
主机Anamesrv192.168.2.228:9876
主机Abroker-a192.168.2.228:10911
主机Abroker-b192.168.2.228:11911
主机Bnamesrv192.168.2.229:9876
主机Bbroker-c192.168.2.229:10911
主机Bbroker-d192.168.2.229:11911

2、两台主机都需要执行，创建mq需要的文件

mkdir -p /mydata/rocketmq/data/namesrv/logs
sudo chmod 777  /mydata/rocketmq/data/namesrv/logs
mkdir -p /mydata/rocketmq/data/namesrv/store
chmod 777  /mydata/rocketmq/data/namesrv/store
mkdir -p /mydata/rocketmq/data/broker-a/logs
mkdir -p /mydata/rocketmq/data/broker-a/store
mkdir -p /mydata/rocketmq/etc/broker-a
chmod 777 /mydata/rocketmq/data/broker-a/logs
chmod 777 /mydata/rocketmq/data/broker-a/store
chmod 777 /mydata/rocketmq/etc/broker-a
mkdir -p /mydata/rocketmq/data/broker-b/logs
mkdir -p /mydata/rocketmq/data/broker-b/store
mkdir -p /mydata/rocketmq/etc/broker-b
chmod 777 /mydata/rocketmq/data/broker-b/logs
chmod 777 /mydata/rocketmq/data/broker-b/store
chmod 777 /mydata/rocketmq/etc/broker-b

3、A服务器部署broker-a

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容

brokerClusterName = rocketmq-cluster
brokerName = broker-a

# 0表示broker master 非0表示 broker slaver
brokerId = 0

# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.228

# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.228

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876

# 是否能够自动创建topic
autoCreateTopicEnable = true

#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4、A服务器部署broker-b

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容

brokerClusterName = rocketmq-cluster
brokerName = broker-b

brokerId = 1

brokerIP1 = 192.168.2.228

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876

listenPort = 11911

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

5、主机B部署broker-c

cd  /mydata/rocketmq/data
vi broker-a.conf
#输入以下内容

brokerClusterName = rocketmq-cluster
brokerName = broker-c

# 0表示broker master 非0表示 broker slaver
brokerId = 0

# brokerIP1 当前broker监听的IP
brokerIP1 = 192.168.2.229

# brokerIP2 存在broker主从时，在broker主节点上配置了brokerIP2的话,broker从节点会连接主节点配置的brokerIP2来同步
brokerIP2 = 192.168.2.229

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876

# 是否能够自动创建topic
autoCreateTopicEnable = true

#Broker 对外服务的监听端口, 默认10911
# listenPort = 10911

#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6、主机B部署broker-d

cd  /mydata/rocketmq/data
vi broker-b-s.conf
#输入以下内容

brokerClusterName = rocketmq-cluster
brokerName = broker-d

brokerId = 1

brokerIP1 = 192.168.2.229

deleteWhen = 04
fileReservedTime = 48

namesrvAddr = 192.168.2.228:9876;192.168.2.229:9876

listenPort = 11911

#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

7、下载dockercompose文件，如果主机没有网络可以使用有网络的电脑下载上传到/usr/local/bin目录

#下载到/usr/local/bin目录
curl -SL https://github.com/docker/compose/releases/download/v2.7.0/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose

8、两台主机都编辑docker-compose.yml

cd /usr/local/bin
vi docker-compose.yml
#输入以下内容
version: '4.7'
services:
  rmqnamesrv-a:
    image: apache/rocketmq:4.7.1
    restart: always
    container_name: rmqnamesrv-a
    ports:
      - 9876:9876
    volumes:
      - /mydata/rocketmq/data/namesrv/logs:/opt/logs/rocketmqlogs
      - /mydata/rocketmq/data/namesrv/store:/opt/store
    environment:
      - JAVA_OPT_EXT=-Duser.home=/opt -Xms512m -Xmx512m -Xmn300m
    command: sh mqnamesrv


  rmqbroker-a:
    image: apache/rocketmq:4.7.1
    container_name: rmqbroker-a
    ports:
      - 10911:10911
      - 10909:10909
      - 10912:10912
    volumes:
      - /mydata/rocketmq/data/broker-a/logs:/home/rocketmq/logs
      - /mydata/rocketmq/data/broker-a/store:/home/rocketmq/store
      - /mydata/rocketmq/data/broker-a.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.conf
    environment:
      - TZ=Asia/Shanghai
      - NAMESRV_ADDR=rmqnamesrv-a:9876
      - JAVA_OPTS=-Duser.home=/opt
      - JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048m
    command: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &
    links:
      - rmqnamesrv-a:rmqnamesrv-a
  rmqbroker-b-s:
    image: apache/rocketmq:4.7.1
    container_name: rmqbroker-b-s
    ports:
      - 11911:11911
      - 11909:11909
      - 11912:11912
    volumes:
      - /mydata/rocketmq/data/broker-b/logs:/home/rocketmq/logs
      - /mydata/rocketmq/data/broker-b/store:/home/rocketmq/store
      - /mydata/rocketmq/data/broker-b-s.conf:/home/rocketmq/rocketmq-4.7.1/conf/broker.conf
    environment:
      - TZ=Asia/Shanghai
      - NAMESRV_ADDR=rmqnamesrv-a:9876
      - JAVA_OPTS=-Duser.home=/opt
      - JAVA_OPT_EXT=-server -Xms2048m -Xmx4096m -Xmn2048m
    command: sh mqbroker -c /home/rocketmq/rocketmq-4.7.1/conf/broker.conf autoCreateTopicEnable=true &
    links:
      - rmqnamesrv-a:rmqnamesrv-a

9、启动部署

#部署启动
docker compose up -d
#卸载命令，不要执行
docker compose down

10、自定义dashbord密码

#部署启动
mkdir -p /apps/rocketmq-dashboard/data
vi users.properties
#输入以下内容
#超级管理员
admin=admin,1
#普通用户
xkc=xkc

11、dashbord启动

docker run -d -it --name dashboard -p 18081:8080 --log-opt max-size=100m --log-opt max-file=3 -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.2.228:9876;192.168.2.229:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false  -Drocketmq.config.loginRequired=true" -v /apps/rocketmq-dashboard/data:/tmp/rocketmq-console/data  apacherocketmq/rocketmq-dashboard:latest /bin/bash

12、自定义的nginx负载均衡配置，需要配置nginx.conf文件，网上有很多坑说配置http模块，实际上配置http模块没法对mq负载均衡，正确需要在stream模块追加以下配置，如下：

stream {
	upstream mqserver {
	server 192.168.2.227:9876;
	server 192.168.2.228:9876;
	}
	 server {
        listen 888;
        proxy_connect_timeout 1s;
        proxy_timeout 3s;
        proxy_pass mqserver;
    }
}

13、双活测试结果如下，可以根据自己需求和预期去调试测试：
在这里插入图片描述

14、一键式部署的脚本，我自己写了一个，但暂时不提供，有需要的可以联系博主

Grey_fantasy
关注
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 372
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
二、Rocketmq-dashboard的web管理页面部署
java coding girl
08-17 2559
提示：rocketmq-dashboard前身是rocket-console。
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
RocketMQ-Dashboard 控制台使用详解
tian830937的专栏
08-20 736
RocketMq的dashboard，有运维页面，驾驶舱，集群页面，主题页面，消费者页面，生产者页面，发布管理页面，消息查询页面等，为开发和运维提供了强大的监控功能。
Rocketmq双主双从部署
weixin_48452961的博客
07-10 985
总结：消息生产者生产消息前，会先向NameServer中获取Broker，这就要求Broker需先注册到NameServer中，producer获取到Broker以后，就可以生产消息并交由Broker存储，Broker内部调用模块MessageQueue存储消息，而MessageQueue又会被逻辑划分为一个一个的topic，之后，消息消费者从NameServer中获取Broker，获取到Broker后，取出消息进行消费。2）Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1143
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ双主双从集群搭建
YHJ
05-23 1961
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
rocketmq双主模式
weixin_30530523的博客
03-07 945
1、官网 https://rocketmq.apache.org/ 官方安装文档 https://rocketmq.apache.org/docs/quick-start/ 2、rocketmq多主配置文件参考（conf/2m-noslave/broker-a.properties） 10.0.0.2服务器 [root@a ~]# cat /usr/local/r...
rocketmq管理工具,项目之前名字rocketmq-console后来项目独立并更名为rocketmq-dashboard
03-14
- 下载源码：可以从GitHub上获取`rocketmq-dashboard-master`压缩包。 - 构建项目：使用Maven进行编译，生成可执行的JAR文件。 - 运行：通过Java命令行运行JAR文件，指定相关的RocketMQ集群配置。 - 访问：在...
使用docker安装RocketMQ
技术分享博客，工作经验，技能学习分享（多做一些不会的，会有意向不到的收获，IT高手不可能永远只做会的）
04-30 1218
使用docker安装RocketMQ
RocketMQ-RocketMQ集群实践(搭建)
weixin_43874650的博客
12-03 1287
而且更严重的是，如果服务器出现了问题，比如磁盘坏了，那么存储在磁盘上的数据就会丢失。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。​ 为了便于观察，我们这次搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。这种集群存在单点故障。
Docker 安装 RocketMQ 4.5.2
Bigger_Lee的博客
05-31 460
查找具体版本 如foxiswho/rocketmq，以下是查看当前镜像所有版本的shell命令： curl https://registry.hub.docker.com/v1/repositories/foxiswho/rocketmq/tags | tr -d '[\[\]" ]' | tr '}' '\n' | awk -F: -v image='foxiswho/rocketmq' '{if(NR!=NF && $3 != ""){printf("%s:%s\n",image,$3.
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3079
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1382
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
RocketMQ-双主双从集群+DashBorad搭建(云服务器)
HGW的博客
12-22 1848
本文从理论知识垫基础到基于云服务器部署双主双从的RocketMQ集群，可谓是通透～
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3223
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 933
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
基于 RocketMQ 的同城双活架构在美菜网的挑战与实践
zhaowei121的博客
09-16 1333
本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验，偏重于实践。 嘉宾李样兵，现就职于美菜网基础服务平台组，负责 MQ ，配置中心和任务调度等基础组件开发工作。 今天主要从三个方面进行分享： 美菜网消息队列的历史 基于 RocketMQ 我们做了那些事情 同城双活的选型和思考 美菜网消息队列的历史 美菜网历史上是多套 MQ 并...
k8s怎样部署http访问dashbord
最新发布
09-14
Kubernetes（k8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。为了安全地访问Kubernetes的dashbord，通常需要通过安全的网络连接，例如使用HTTPS协议和认证令牌。以下是通过命令行部署并访问Kubernetes dashbord的基本步骤： 1. 部署Kubernetes dashbord： 首先，你需要安装并配置好kubectl（Kubernetes的命令行工具）。然后，你可以使用以下命令部署dashbord： ```bash kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml ``` 2. 创建一个用户并分配角色： 为了访问dashbord，你需要创建一个用户并为其分配相应的角色。以下是一个例子，用于创建一个名为`admin-user`的用户，并分配一个管理员角色： ```yaml apiVersion: v1 kind: ServiceAccount metadata: name: admin-user namespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: admin-user roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: admin-user namespace: kube-system ``` 应用该配置文件： ```bash kubectl apply -f <配置文件.yaml> ``` 3. 获取认证令牌： 一旦用户创建并分配了角色，你需要获取该用户的认证令牌以供登录dashbord时使用。可以通过以下命令获取： ```bash kubectl -n kube-system describe secret $(kubectl -n kube-system get secret | grep admin-user | awk '{print $1}') ``` 4. 访问Kubernetes dashbord： 最后，你可以通过端口转发或者设置一个安全代理来访问dashbord。这里以端口转发为例： ```bash kubectl proxy ``` 打开浏览器访问`http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/`，并在登录界面输入步骤3中获取的令牌。 请务必确保在访问dashbord时采用安全的连接，避免直接开放 dashbord 到互联网，因为这可能会带来安全风险。建议使用反向代理和SSL/TLS证书来保护访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值