消息队列RocketMQ入门实践-集群部署（七）

最新推荐文章于 2023-06-16 12:00:25 发布
最新推荐文章于 2023-06-16 12:00:25 发布
阅读量553 收藏
点赞数 1
分类专栏： 消息中间件 文章标签： 消息队列 rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30859353/article/details/125217008
版权

系列文章目录

消息队列RocketMQ入门实践（一）
消息队列RocketMQ入门实践（二）
消息队列RocketMQ入门实践–关键特性（三）
消息队列RocketMQ入门实践–关键特性（四）
消息队列RocketMQ入门实践–消息存储（五）
消息队列RocketMQ入门实践–消息重试策略（六）

文章目录

前言

嗨，大家好。我是希留

前面我们搭建了一个单机的RocketMQ服务，但一般生产上使用都是搭建的集群服务。所以今天这篇文章就记录一下我是怎么搭建一个双主双从的集群的。

一、集群模式

在RocketMQ中，集群的部署模式是比较多的，有以下几种：

  • 单个Master
    ∘ \circ ∘ 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用。

  • 多Master模式
    ∘ \circ ∘ 一个集群无Slave，全是Master，例如2个Master或者3个Master
    ∘ \circ ∘ 单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不 可订阅，消息实时性会受到影响。

  • 多Master多Slave模式，异步复制
    ∘ \circ ∘ 每个Master配置一个Slave，有多对Master-Slave，采用异步复制方式，主备有短暂消息延迟，毫秒级。
    ∘ \circ ∘ 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master宕机后，消费者仍然可以从Slave消费，此过程对应用透明，不需要人工干预。性能同多Master模式几乎一样。
    ∘ \circ ∘ 缺点：Master宕机，磁盘损坏情况，会丢失少量消息。

  • 多Master多Slave模式，同步双写
    每个Master配置一个Slave，有多对Master-Slave，采用同步双写方式，主备都写成功，向应用返回成功。
    ∘ \circ ∘ 优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。
    ∘ \circ ∘ 缺点：性能比异步复制模式略低，大约低10%左右

二、搭建2m2s异步刷盘集群

由于我只有一台服务器，资源有限，就通过docker来搭建集群。

1. 创建2个master

1.1 创建 nameserver01 容器 （没有拉取镜像直接创建容器时，会自动先拉取镜像）

// docker 创建命令
docker create -p 9876:9876 --name rmqserver01 \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-e "JAVA_OPTS=-Duser.home=/opt" \
-v /rmq/rmqserver/logs:/opt/logs \
-v /rmq/rmqserver/store:/opt/store \
foxiswho/rocketmq:server-4.3.2

如下图所示

在这里插入图片描述

1.2 创建nameserver02容器

docker create -p 9877:9876 --name rmqserver02 \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-e "JAVA_OPTS=-Duser.home=/opt" \
-v /rmq/rmqserver02/logs:/opt/logs \
-v /rmq/rmqserver02/store:/opt/store \
foxiswho/rocketmq:server-4.3.2

出现一串字符串就表示创建完成

在这里插入图片描述

2. 创建 broker

2.1 创建第1个master broker
取名 broker01

// docker 命令
docker create --net host --name rmqbroker01 \
-e "JAVA_OPTS=-Duser.home=/opt" \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-v /rmq/rmqbroker01/conf/broker.conf:/etc/rocketmq/broker.conf \
-v /rmq/rmqbroker01/logs:/opt/logs \
-v /rmq/rmqbroker01/store:/opt/store \
foxiswho/rocketmq:broker-4.3.2

如下图所示就是创建成功。
在这里插入图片描述
创建broker相关目录
在这里插入图片描述
修改 broker.conf 配置

#nameServer地址，分号分割
namesrvAddr=42.194.222.32:9876;42.194.222.32:9877
#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=xiliu-Cluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker01
#brokerid,0就表示是Master，>0的都是表示 Slave
brokerId=0
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
brokerIp1=42.194.222.32
brokerIp2=42.194.222.32
#Broker 对外服务的监听端口
listenPort=10911

2.2 创建第2个master broker
取名 broker02

docker create --net host --name rmqbroker02 \
-e "JAVA_OPTS=-Duser.home=/opt" \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-v /rmq/rmqbroker02/conf/broker.conf:/etc/rocketmq/broker.conf \
-v /rmq/rmqbroker02/logs:/opt/logs \
-v /rmq/rmqbroker02/store:/opt/store \
foxiswho/rocketmq:broker-4.3.2

在这里插入图片描述
修改配置

namesrvAddr=42.194.222.32:9876;42.194.222.32:9877
brokerClusterName=xiliu-Cluster
brokerName=broker02
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
#刷盘方式 异步刷盘
flushDiskType=ASYNC_FLUSH
brokerIp1=42.194.222.32
brokerIp2=42.194.222.32
listenPort=10811

在这里插入图片描述

2.3 创建第1个slave broker
slave broker01

docker create --net host --name rmqbroker03 \
-e "JAVA_OPTS=-Duser.home=/opt" \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-v /rmq/rmqbroker03/conf/broker.conf:/etc/rocketmq/broker.conf \
-v /rmq/rmqbroker03/logs:/opt/logs \
-v /rmq/rmqbroker03/store:/opt/store \
foxiswho/rocketmq:broker-4.3.2

配置

namesrvAddr=42.194.222.32:9876;42.194.222.32:9877
brokerClusterName=xiliu-Cluster
brokerName=broker01
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
brokerIp1=42.194.222.32
brokerIp2=42.194.222.32
listenPort=10711

2.4 创建第2个slave broker
slave broker02

docker create --net host --name rmqbroker04 \
-e "JAVA_OPTS=-Duser.home=/opt" \
-e "JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m" \
-v /rmq/rmqbroker04/conf/broker.conf:/etc/rocketmq/broker.conf \
-v /rmq/rmqbroker04/logs:/opt/logs \
-v /rmq/rmqbroker04/store:/opt/store \
foxiswho/rocketmq:broker-4.3.2

配置

namesrvAddr=42.194.222.32:9876;42.194.222.32:9877
brokerClusterName=xiliu-Cluster
brokerName=broker02
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
brokerIp1=42.194.222.32
brokerIp2=42.194.222.32
listenPort=10611

3. 启动容器

先启动nameserver：docker start rmqserver01 rmqserver02

在这里插入图片描述

在启动broker：docker start rmqbroker01 rmqbroker02 rmqbroker03 rmqbroker04

在这里插入图片描述

三、验证集群

由于我部署了rocketmq-console管理工具，所以可以直接进入控制台看到相关集群信息。集群搭建完成
在这里插入图片描述

总结

以上就是本文的主要内容了。本文主要介绍了RocketMQ双主双从的集群服务搭建，环境搭建起来还是比较容易，主要还是要自己动手去搭建，熟悉一些配置。 感谢大家的阅读，如有疑问之处，欢迎在评论区留言交流~

Java升级之路
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
rocketmq-all-4.9.3-bin-release
03-14
rocketmq2022.03最新稳定版
rocketmq-all-4.4.0-bin-release消息队列
12-09
很常用的一个消息队列，消息队列作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性。
Java内存调优
lzzyok的专栏
03-29 638
1、了解虚拟机内存结构 在进行内存调优之前，我们需要先了java的内存结构，见下图或查看该遍文章：Java内存导图 下面我们对关键几个部分进行说明： 虚拟机栈：是线程私有的。存储方法执行时相关信息，每个方法在调用时都会在虚拟机栈中创建一个方法帧，帧中包含了局部变量、参数、运行中间结果等信息。帧数超过限制（-Xss）就会出现StackOverFlow错误。在运...
java开发docker-compose常用软件一键高效部署
weixin_45623983的博客
05-09 1991
安装及使用见: Centos7 docker docker-compose安装及镜像部署常用操作_XYLANCC的博客-CSDN博客 docker-compose.yml version: '3.3' services: nginx: image: nginx:1.19.2 container_name: nginx volumes: - /etc/localtime:/etc/localtime:ro - ./nginx/html:/usr
rocketmq k8s配置内存大小
xuechangchun007的专栏
09-07 1728
镜像地址：apacherocketmq/rocketmq:4.6.0 rocketmq broker默认启动大小是8g，测试环境资源有限，改成1g，试了好多次才OK，JAVA_OPT不行，启动命令中加-server不行。 处理方法： 加在环境变量中，用JAVA_OPT_EXT，如下 containers: - args: - 'JAVA_OPT=-XX:ParallelGCThreads=1' command: ...
消息中间件RocketMQ（二）：使用Docker搭建二主二从集群
菜鸡也有大佬梦
10-24 1688
使用Docker安装RocketMQ 1.拉取镜像 docker pull foxiswho/rocketmq:server-4.3.2 docker pull foxiswho/rocketmq:broker-4.3.2 2.创建nameserver容器 docker create -p 9876:9876 --name rmqserver \ -e "JAVA_OPT_EXT=-serv...
RocketMQ TLS Client-initiated 重协商攻击(CVE-2011-1473)
xieqj_0511的博客
06-16 6315
CVE-2011-1473安全漏洞修改，针对rocketmq
rocketmq-console-ng-1.0.1.jar
05-30
RocketMQ的 Web管理工具运行包：rocketmq-console，可以实时查看rocketmq消息队列的运行情况。
rocketmq-client-3.6.2.Final-API文档-中英对照版.zip
04-08
赠送jar包：rocketmq-client-3.6.2.Final.jar； 赠送原API文档：rocketmq-client-3.6.2.Final-javadoc.jar； 赠送源代码：rocketmq-client-3.6.2.Final-sources.jar； 包含翻译后的API文档：rocketmq-client-...
rocketmq-console-ng-2.0.0.jar
02-08
RocketMQ插件部署
docker-compose部署一套生产环境
mingqing的博客
08-16 1758
docker-compose部署一套生产环境
RocketMQ集群搭建
Xx__WangQi的博客
04-15 649
目录 1、机器环境 2、创建用户 3、系统配置 3.1 免密登录 3.2 关闭防火墙 4、安装java 5、安装RocketMQ 6、配置RocketMQ集群 6.1 配置第一组broker-a 6.2 配置第二组Broker-b 7、启动RocketMQ 7.1 先启动nameServer。 7.2 再启动broker 7.3 启动状态检查 7.4 测试mqadmin管理工具 7.4.1 Topic相关： 7.4.2 集群相关 7.4.3 Broker相关 7..
Docker中RocketMQ的安装与使用
愿我如星君如月 ... 夜夜流光相皎洁 ...
12-15 423
搜索RocketMQ的镜像，可以通过docker的hub.docker.com上进行搜索，也可以在Linux下通过docker的search命令进行搜索，不过最近防火墙升级后，导致国外的网站打开都很慢，通过命令搜索反而会更加方便，操作Docker命令一定要是root用户或者具有root权限的用户。查询操作如下： docker search rocketmq 可以得到如下的结果： 镜像倒...
RocketMQ-broker.conf 配置文件
v慕言的博客
07-10 5851
# Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the
RocketMQ搭建与配置
qq_40006446的博客
04-13 369
Apache RockerMQ是一个分布式消息传递引擎，轻量级的数据处理平台。 它具有以下的特性: 低延迟： 高压下在1毫米内响应延迟超过99.6%。 财务导向：具有跟踪和审核功能的高可用性。 产业可持续发展：万亿级消息容量。 大数据友好：具有通用集成功能的批处理传输实现大批量吞吐。 兼容性好：提供开放式分布式消息传递和流传输标准。 万亿级容量：给定足够的磁盘空间，可以在不损失性能的情况下累计邮件。 RocketMQ安装与配置 1.下载https://www.apache.org/dyn/c
docker 搭建 rocketmq
红桃峰峰 的博客
09-01 1229
docker 搭建 rocketmq
docker 部署rockermq双主双从集群
云深海阔专栏
04-24 673
1、pull rocketmq镜像 [root@rocketmq01 ~]# docker pull styletang/rocketmq-console-ng:latest latest: Pulling from styletang/rocketmq-console-ng e12c678537ae: Pull complete 8d9ed335b7db: Pull complete 3318dd58ae60: Pull complete 624ba6156166: Pull complete
RocketMQ第三话 -- RocketMQ高可用集群搭建
生生不息，则源源不断
06-27 391
本文主要记录RocketMQ两主两从的集群搭建liunx centos7，docker-compose，镜像apache/rocketmq:4.9.3 master2和salve2复制上面内容，需要主要的是：brokerName、brokerId、brokerRole、listenPort这几个参数的不同 2.3 启动 2.4 java中连接测试 只有配置不一样，其他无需修改 2.5 控制台 节点都启动的情况下，消费了一些消息，是分布消费的 1.特别注意配置文件的不同和相同处 2.内存大小控制，虚拟机测试
nacos在mac上部署提示找不到或无法加载主类
学无止境
10-12 4331
问题内容 cat /Users/ylmac/Downloads/nacos/logs/start.out /Users/ylmac/Library/Java/JavaVirtualMachines/openjdk-17 ... 错误: 找不到或无法加载主类 原因: java.lang.ClassNotFoundException: 解决方法1：安装java8版本 解决方法2：修改sh脚本(亲测有效)，无需修改Java版本 #为原有内容，下面为替换内容, 目的是去除JAVA_OPT_EXT_FIX # J
rocketmq-client-go
最新发布
09-03
RocketMQ是阿里巴巴开源的分布式消息中间件，而rocketmq-client-go是其针对Go语言开发的客户端库。 rocketmq-client-go提供了与RocketMQ Broker进行连接和交互的功能，可以方便地使用Go语言发送和接收消息。它支持顺序消息和广播消息模式，可以根据业务需求选择最适合的消息模式。 使用rocketmq-client-go，我们可以通过创建一个生产者来发送消息到RocketMQ消息队列，也可以创建一个消费者来订阅并消费队列中的消息。通过创建消费者组，可以实现消息的负载均衡和容错处理。 rocketmq-client-go还提供了一些高级特性，比如延迟消息、定时消息和事务消息。延迟消息可以让消息在指定的时间之后才被消费，定时消息可以让消息在指定的时间点被发送，而事务消息可以保证消息的可靠性传输和处理。 此外，rocketmq-client-go还支持消息过滤功能，可以根据一些条件来过滤和选择需要消费的消息，提高消费的效率。 总之，rocketmq-client-go是一个功能强大的Go语言客户端库，可以方便地与RocketMQ Broker进行交互，实现消息的生产、消费和处理。它提供了很多高级特性和功能，可以满足各种不同场景下的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java升级之路

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值