RocketMQ内容分享(一)：初识、部署、集群搭建

最新推荐文章于 2024-06-24 14:43:06 发布
最新推荐文章于 2024-06-24 14:43:06 发布
阅读量1.1k 收藏 28
点赞数 23
分类专栏： RocketMQ 内容分享 MQ（Message Queue）消息队列 内容分享 文章标签： rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45038038/article/details/134866392
版权

目录

初识RocketMQ

1、消息队列

2、消息队列的应用场景

3、RocketMQ的简介

4、各类MQ的对比

5、RocketMQ的技术架构

6、RockerMQ领域模型

1. 消息生产

2. 消息存储

3. 消息消费

Docker部署单机RocketMQ 

1. 前言

2. 拉取镜像

3. 下载可视化工具镜像

4. broker配置

5.启动文件 rocketmq.yml 配置

6. 测试消息的发送和接收

首先，在pom.xml文件中添加RocketMQ的依赖：

RocketMQ集群搭建 

一、集群特点

二、服务器环境

1.1.部署架构

1.2.服务器信息

1.3.配置Host （两台服务器都需要）

1.4. 安装jdk（两台服务器都需要）

1.5. 关闭防火墙（两台服务器都需要）

1.6. 创建数据存储目录（两台服务器都需要）

三、下载与安装配置

2.1.下载rocketmq并解压（两天服务器都要）

2.2. 环境变量配置（两台服务器都需要）

2.3. 配置 rocketmq broker-a (在Master1上操作)

2.4. 配置 rocketmq broker-b-s （在Slave2上配置）

2.5. 配置 rocketmq broker-b.properties（在Master2上操作）

2.6. 配置rocketmq broker-a-s.properties（在Slave1上操作）

2.7. 测试环境JVM配置（两台机器都要执行）

2.8. 生产环境JVM配置

四、启动集群

3.1.启动nameserver(（两台机器上都执行）

3.2.启动broker

3.3.测试集群生产消费情况

3.5. 关闭命令

五、问题总结

六、安装管理面板

初识RocketMQ

1、消息队列

消息队列（Message Queue，下面简称MQ） 是一种用于分布式系统中各节点之间进行消息传输的，独立于平台的软件系统。如果把分布式系统中的各个节点比喻成商家和顾客的话，那么消息中间件就是快递公司。商家（生产者）将快递（消息）投递给快递公司，快递公司负责运送快递给顾客（消费者）。那么在分布式系统架构中为啥要用消息中间件呢？

2、消息队列的应用场景

消息队列在分布式系统中主要用于异步解耦，流量削峰等场景。就以订单流程为例。没有使用消息队列的情况下，用户下单，需要订单系统调用商品系统扣减库存，调用积分系统发放积分，调用优惠券系统抵扣优惠券。这几个系统都与订单系统耦合在一块了。任意一个系统的失败都可能导致下单失败。

image-20230924154439129

使用消息队列之后，订单系统只需要发送一条消息，商品系统，积分系统，优惠券系统直接订阅订单系统发送的消息即可。

image-20230924155636848

3、RocketMQ的简介

RocketMQ是阿里巴巴开源的一款消息队列，它具有低延迟，高吞吐量，高可靠性等特点。目前，RocketMQ在阿里巴巴内部有着广泛的应用，经历多次双十一的洗礼，RocketMQ的可靠性非常高。

4、各类MQ的对比

目前市面上常用的MQ有: kafka, RabbitMQ,RocketMQ,ActiveMQ。这四种MQ的主要对比如下图所示：

名称RabbitMQActiveMQRocketMQkafka
开发语言ErlangJavaJavaScala&Java
客户端支持语言支持，JAVA优先语言无关只支持JAVA支持，JAVA优先
单机吞吐量其次(万级)最差（万级）最高（十万级）次之（十万级）
消息延迟微秒级\比kafka快毫秒级
数据可靠性可以保证数据不丢失，有slave用作备份master/slave支持异步实时刷盘，同步刷盘，同步复制，异步复制数据可靠，并且有副本机制，有容错容灾能力
HAmaster/slave模式，master提供服务，slave仅作备份基于Zookeeper+LevelDB的Master-Slave实现方式支持多Master模式，多Master多Slave模式，异步复制模式，支持replica机制，leader宕机后，备份自动顶替，并重新选举leader（基于zookeeper）
消息推拉模式多协议，Pull/Push均有支持多协议，Pull/Push均有支持多协议，Pull/Push均有支持Pull
成熟度成熟成熟比较成熟成熟
特点
支持协议多协议支持：AMQP,XMPP,SMTP,STOMP自有协议自有协议，社区封装了HTTP协议支持
持久化内存，文件，支持数据堆积，但数据堆积会影响生产速率内存，文件，数据库磁盘文件磁盘文件，只要做到
事务不支持支持支持不支持，但可以通过Low Level API保证只消费一次
负载均衡支持支持支持支持
集群支持支持支持支持
评价优点：由于Erlang语言的特性，mq性能较好，管理界面丰富，在互联网公司也有大规模应用；支持amqp。 缺点：erlang语言难度较大，集群不支持动态扩展。优点：成熟的产品，已经在很多公司得到应用。缺点：社区不活跃，会出现莫名其妙的问题，且会丢失消息优点：模型简单。在阿里大规模应用，单日处理消息上百亿。

综上所述：

早期的话ActiveMQ使用比较多，但是ActiveMQ没有经历过大吞吐量场景的验证，且可能会丢失消息，社区也不活跃，现在应用的比较少了。

RabbitMQ 得益于其活跃的开源社区以及高可用性被不少公司应用。但是Erlang语言阻止了大量的java开发工程师去深入研究和掌握它，对公司而言，几乎处于不可控的状态。

RocketMQ 作为经历过双十一大吞吐量场景的考验，Java语言开发的消息队列，现在被越来越多的公司采用。RocketMQ也已经捐给了Apache 基金会，社区较为活跃。

kafka主要应用于日志收集场景。

如果系统使用消息队列主要场景是处理在线业务，比如在交易系统中用消息队列传递订单，需要低延迟和高稳定性，建议使用 RocketMQ。

如果需要处理海量的消息，像收集日志、监控信息或是埋点这类数据，或是你的应用场景大量使用了大数据、流计算相关的开源产品，那 Kafka 是最适合的消息队列。

5、RocketMQ的技术架构

image-20230924162430614

RockerMQ架构上主要分为四部分， 如上图所示：

  1. Producer: 消息生产者角色，支持分布式集群部署，主要用于发送消息，通常集成于业务系统。它相当于是发信者。

  2. Consumer: 消息消费者角色，支持分布式集群部署，支持以push推，pull拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，通常集成于业务系统。它相当于收信者。

  3. Broker: 主要负责消息的存储、投递和查询以及服务高可用保证。它相当于是邮局 其内部包含以下几个重要子模块。

    4.1. Remoting Module: 整个Broker的实体，负责处理来自Clients端的请求。

    4.2. Client Manager: 负责管理客户端（Producer/Consumer）和维护Topic订阅信息。

    4.3. Store Service: 提供方便简单的API接口处理消息存储到物理磁盘和查询功能。

  4. NameServer: 它是Broker的注册中心，支持Broker的动态注册与发现。它主要包括两个功能：Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的提供者。然后提供心跳检测机制，检查Broker是否存活；路由信息管理，每个NameServer通常也是集群方式部署，各实例互不进行通信，Broker向每一台NameServer注册自己的路由信息， 所以，每一个NameServer实例上面都保存一份完整的路由信息，当某个NameServer因某种原因下线了，Broker仍然可以向其他NameServer同步其路由信息。NameServer是无状态的。

6、RockerMQ领域模型

image-20230924170814616

如上图所示，RocketMQ中消息的生命周期主要分为消息生产、消息存储、消息消费这三部分。

生产者生产消息并发送到RocketMQ服务端，消息被存储到服务端的主题中，消费者通过订阅主题消费消息。

1. 消息生产

生产者（Producer）：用于产生消息的运行实体，一般集成于业务调用链路的上游。生产者是轻量级匿名无身份的。

2. 消息存储

  1. 主题（Topic）:

    RocketMQ 消息传输和存储的分组容器，主题内部由多个队列组成，消息的存储和水平扩展实际是通过主题内的队列实现的。

  2. 队列（MessageQueue）:

    RocketMQ 消息传输和存储的实际单元容器，类比于其他消息队列中的分区。RocketMQ 通过流式特性的无限队列结构来存储消息，消息在队列内具有顺序存储特性。

  3. 消息（Message）:

    RocketMQ 的最小传输单元，消息具备不可变性，在初始化发送和完成存储后即不可变。

3. 消息消费

  1. 消费者分组（ConsumerGroup）:

    RocketMQ发布订阅模型中定义的独立的消费身份分组。用于统一管理底层运行的多个消费者（Consumer）。同一个消费者组的多个消费者必须保持消费逻辑和配置一致，共同分担该消费者组订阅的消息，实现消费能力的水平扩展。

  2. 消费者（Consumer）:

    RocketMQ 消费消息的运行实体，一般集成在业务调用链路的下游。消费者必须指定到某一个消费者组中。

  3. 订阅关系（Subscription）:

    RocketMQ 发布订阅模型中消息过滤、重试、消费进度的规则配置。订阅关系以消费组粒度进行管理，消费组通过定义订阅关系控制指定消费组下的消费者如何实现消息过滤、消费重试及消费进度恢复等。RocketMQ 的订阅关系除过滤表达式之外都是持久化的，即服务端重启或请求断开，订阅关系依然保留。

Docker部署单机RocketMQ 

1. 前言

部署RocketMQ的最核心是部署nameserver以及部署broker。然后，我们还需要安装可视化界面，在RocketMQ的官网上提供的是基础的安装方式。

2. 拉取镜像

git clone https://github.com/apache/rocketmq-docker.git

如果访问不了github的话则需要科学上网。该命令会拉取最新的rocketmq镜像。

image-20230917161227441

下载好之后，可以通过访问 Index of /dist/rocketmq 命令来查看rocketmq镜像的版本。

下载好之后 执行cd rocketmq-docker 命令跳转到 ./rockeetmq-docker 命令。

image-20230917161955871

然后，跳转到 image-build 目录，然后，执行 build-image.sh 命令构建镜像。

cd image-build
sh build-image.sh 5.1.3 alpine

image-20230917163925210

docker images

image-20230917164019313

3. 下载可视化工具镜像

docker pull apacherocketmq/rocketmq-dashboard:latest

image-20230917164438632

4. broker配置

这里自定义一个路径用于存放broker的配置，然后在此路径下创建一个broker.conf的文件。

mkdir -p  /Users/manongfeige/config/rocketmq
cd /Users/manongfeige/config/rocketmq/
touch broker.conf
vim broker.conf

broker.conf文件的配置信息如下：

# 所属集群名称，如果节点较多可以配置多个
brokerClusterName = DefaultCluster
#broker名称，master和slave使用相同的名称，表明他们的主从关系
brokerName = broker-a
#0表示Master，大于0表示不同的slave
brokerId = 0
#表示几点做消息删除动作，默认是凌晨4点
deleteWhen = 04
#在磁盘上保留消息的时长，单位是小时
fileReservedTime = 48
#有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；
brokerRole = ASYNC_MASTER
#刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功
状态，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# 设置broker节点所在服务器的ip地址、物理ip，不能用127.0.0.1、localhost、docker内网ip
brokerIP1 = 192.168.41.121

这里需要注意的是设置broker节点所在的服务器ip地址，必须是真实的物理ip，不能用127.0.0.1、localhost、docker内网ip。

在mac电脑中通过 ifconfig 命令来查看。

image-20230917165315858

配置好broker.conf，接着配置启动 RocketMQ的yml文件。这里创建一个 rocketmq.yml 文件，跟broker.conf文件放在同一个目录下。

5.启动文件 rocketmq.yml 配置

version: '3'
services:
  namesrv:
    image: apache/rocketmq:5.1.3-alpine
    container_name: rmqnamesrv
    ports: 
      - 9876:9876
    command: sh mqnamesrv
  
  broker:
    image: apache/rocketmq:5.1.3-alpine
    container_name: rmqbroker
    ports:
      - 10909:10909
      - 10911:10911
      - 10912:10912
    volumes:
       - /Users/manongfeige/config/rocketmq/broker.conf:/home/rocketmq/rocketmq-5.1.3/conf/broker.conf
    command: sh mqbroker -n namesrv:9876 -c /home/rocketmq/rocketmq-5.1.3/conf/broker.conf
    depends_on:
      - namesrv
  mqconsole:
    image: apacherocketmq/rocketmq-dashboard
    container_name: rmqdashboard
    ports: 
      - 8181:8080
    environment:
      JAVA_OPTS: -Drocketmq.config.namesrvAddr=namesrv:9876 -Drocketmq.config.isVIPChannel=false
    depends_on:
      - namesrv

此配置文件主要分为三部分：

  1. 第一部分是：nameserver的配置。nameserver默认的端口是 9876。镜像的话这里指定为：apache/rocketmq:5.1.3-alpine。如果版本不同需要做对应的修改。如果不知道你的镜像是啥可以在docker中查看。

    image-20230917170309746

  2. 配置broker

    broker 需要注意的是将前面配置的 broker.conf 文件映射到容器中的 /home/rocketmq/rocketmq-5.1.3/conf/broker.conf 中去。

  3. 配置myconsole

    主要是设置使用的镜像，容器的名称以及使用的端口号。console 依赖的是Java环境以及nameserver。

配置好之后，接着执行如下命令：

docker-compose -f rocketmq.yml up -d

image-20230917171851665

启动正常的命令应该是这样的，然后。我们访问一下 http://localhost:8181/#/producer 控制台。

image-20230917172005407

6. 测试消息的发送和接收

首先，在pom.xml文件中添加RocketMQ的依赖：
 <dependency>
            <groupId>org.apache.rocketmq</groupId>
            <artifactId>rocketmq-spring-boot-starter</artifactId>
            <version>2.2.3</version>
        </dependency>

在application.properties文件中配置RocketMQ的相关信息：

rocketmq.name-server=192.168.31.191:9876
rocketmq.producer.group=myProducerGroup

创建一个生产者类：

@Component
public class Producer {
    @Autowired
    private RocketMQTemplate rocketMQTemplate;

    public void sendMessage(String topic, String message) {
        rocketMQTemplate.convertAndSend(topic, message);
    }
}

创建一个消费者类：

@Service
@RocketMQMessageListener(topic = "test_topic", consumerGroup = "test_consumer_group")
public class Consumer implements RocketMQListener<String> {
    @Override
    public void onMessage(String s) {
        System.out.println("Received message:" + s);
    }
}

在主类中调用生产者发送消息：

@SpringBootApplication
public class RocketmqDemoApplication {

    public static void main(String[] args) {

        ConfigurableApplicationContext run = SpringApplication.run(RocketmqDemoApplication.class, args);
        Producer producer = run.getBean(Producer.class);
        producer.sendMessage("test_topic", "你好呀,码农飞哥");
    }
}

RocketMQ集群搭建 

一、集群特点

image-20230924162430614

  1. NameServer是一个几乎无状态的节点，可集群部署，节点之间不会互相通信。
  2. Broker部署相对比较复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master。Master与Slave可以通过指定相同的BrokerName，不同的BrokerId来区分,BrokerId为0表示Master，BrokerId大于0表示Slave。
  3. Producer与NameServer集群中的其中一个节点（随机选择）建立长链接，定期从NameServer取Topic路由信息，并向Topic服务的Master建立长链接（也就是说根据Topic的路由信息找到向哪个Broker发送消息），且定时向Master发送心跳，Producer完全无状态，可集群部署。
  4. Consumer与NameServer集群中的其中一个节点（随机选择）建立长链接，定期从NameServer取Topic路由信息，并向Topic服务的Master，Slave建立长链接，且定时向Master，Slave发送心跳，Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅关系由Broker配置决定。

二、服务器环境

1.1.部署架构

使用的模式是 2m-2s-sync，双主双从，同步复制

1.2.服务器信息
IP角色架构模式
192.31.186.198nameserver，brokermaster1，slave2
192.31.184.89nameserver，brokermaster2，slave1
1.3.配置Host （两台服务器都需要）

  1. nameserver机器信息

    #nameserver
172.31.186.180 rocketmq-nameserver1
172.31.184.89  rocketmq-nameserver2
#broker 机器信息
172.31.186.180  rocketmq-master1
172.31.186.180  rocketmq-slave2
172.31.184.89  rocketmq-master2
172.31.184.89  rocketmq-slave1

    配置完成之后，重启网卡。

    systemctl restart network
1.4. 安装jdk（两台服务器都需要）

安装jdk-8u192-linux-x64.rpm，此处省略。

1.5. 关闭防火墙（两台服务器都需要）

首先查看防火墙的状态，如果状态是 active 则表示防火墙开启

$ systemctl status firewalld

关闭防火墙

$ systemctl stop firewalld
1.6. 创建数据存储目录（两台服务器都需要）

创建master节点的存储路径

mkdir -p /data/server/feige/rocketmq/store
mkdir -p /data/server/feige/rocketmq/store/commitlog
mkdir -p /data/server/feige/rocketmq/store/consumequeue
mkdir -p /data/server/feige/rocketmq/store/index

创建slave节点的存储路径

mkdir -p /data/server/feige/rocketmq/store-s
mkdir -p /data/server/feige/rocketmq/store-s/commitlog
mkdir -p /data/server/feige/rocketmq/store-s/consumequeue
mkdir -p /data/server/feige/rocketmq/store-s/index

三、下载与安装配置

2.1.下载rocketmq并解压（两天服务器都要）
cd /data/server/feige
wget https://archive.apache.org/dist/rocketmq/5.1.3/rocketmq-all-5.1.3-bin-release.zip
unzip rocketmq-all-5.1.3-bin-release.zip -d /data/server/feige/rocketmq
cd /data/server/feige/rocketmq/rocketmq-all-5.1.3-bin-release
2.2. 环境变量配置（两台服务器都需要）
vim /etc/profile

在profile文件的末尾加入如下命令：

ROCKETMQ_HOME=/data/server/feige/rocketmq/rocketmq-all-5.1.3-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

执行 source /etc/profile 使文件生效

2.3. 配置 rocketmq broker-a (在Master1上操作)
vim conf/2m-2s-sync/broker-a.properties

在此配置文件中添加，master默认的端口是10911。

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样;主从节点一样，也就是这个值区分broker组的；
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave；同一个组中区分主从的标识，只能有一个主；
brokerId=0
#当前broker监听的IP
brokerIP1=172.31.186.180
#用于HA主从同步
brokerIP2=172.31.186.180
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
haListenPort=10912
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间使用率
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/server/feige/rocketmq/store
#commitLog存储路径
storePathCommitLog=/data/server/feige/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/data/server/feige/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/server/feige/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/data/server/feige/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/server/feige/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
2.4. 配置 rocketmq broker-b-s （在Slave2上配置）

这里为了避免与master的端口冲突，将slave的默认端口改成11011，另外还需要将从节点broker的存储路径改下，不能与master节点共用。

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#当前broker监听的IP
brokerIP1=172.31.186.180
#用于HA主从同步
brokerIP2=172.31.186.180
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
haListenPort=11012
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/server/feige/rocketmq/store-s
#commitLog存储路径
storePathCommitLog=/data/server/feige/rocketmq/store-s/commitlog
#消费队列存储路径
storePathConsumeQueue=/data/server/feige/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/data/server/feige/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckPoint=/data/server/feige/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/data/server/feige/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
2.5. 配置 rocketmq broker-b.properties（在Master2上操作）

执行

vim conf/2m-2s-sync/broker-b.properties

在此配置文件中添加:master默认的端口是10911。

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识：0 表示Master, >0 表示Slave
brokerId=0
#当前broker监听的IP
brokerIP1=172.31.184.89
#用于HA主从同步
brokerIP2=172.31.184.89
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
haListenPort=10912
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/server/feige/rocketmq/store
#commitLog存储路径
storePathCommitLog=/data/server/feige/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/data/server/feige/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/server/feige/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/data/server/feige/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/server/feige/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
2.6. 配置rocketmq broker-a-s.properties（在Slave1上操作）
vim conf/2m-2s-sync/broker-a-s.properties

在此配置文件中添加:将slave的默认端口改成11011。这里从节点的存储路径要与主节点区分，主和从都必须有

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识：0 表示Master, >0 表示Slave
brokerId=1
#当前broker监听的IP
brokerIP1=172.31.184.89
#用于HA主从同步
brokerIP2=172.31.184.89
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时，自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
haListenPort=11012
#删除长期无用文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间（h），默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/server/feige/rocketmq/store-s
#commitLog存储路径
storePathCommitLog=/data/server/feige/rocketmq/store-s/commitlog
#消费队列存储路径
storePathConsumeQueue=/data/server/feige/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/data/server/feige/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckPoint=/data/server/feige/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/data/server/feige/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
2.7. 测试环境JVM配置（两台机器都要执行）

RocketMQ默认占用的内存是8G，比较大，这里需要修改下占用的堆内存，不然在一个机器是上同时启动两个 broker可能会启动失败。

vim bin/runbroker.sh
# 根据机器实际内存调整，这里演示的机器内存比较小，配置的值比较小
JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn128m"
 vim bin/runserver.sh
# 根据机器实际内存调整，这里演示的机器内存比较小，配置的值比较小
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
 vim bin/tools.sh
# 根据机器实际内存调整，这里演示的机器内存比较小，配置的值比较小
JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=128m"
2.8. 生产环境JVM配置
 vim bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"
 vim bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
 vim bin/tools.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=128m"

四、启动集群

3.1.启动nameserver(（两台机器上都执行）
nohup sh bin/mqnamesrv > /data/server/feige/rocketmq/logs/mqnamesrv.log 2>&1 &
3.2.启动broker

在192.31.186.180上执行如下命令

#1.启动Master1，在Master1上操作
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a.properties > /data/server/feige/rocketmq/logs/broker-a.log 2>&1 &
#2.启动Slave2，在Slave 2上操作
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b-s.properties > /data/server/feige/rocketmq/logs/broker-b-s.log 2>&1 &
#6、查看 NameServer（9876）和 Broker（10909、10911、10912）启动情况，在2台主机上操作
netstat -nltup|egrep "9876|10911|10912|11011|11012"

image-20230921110217969

在192.31.184.89上执行如下命令：

#1.启动Master2，在Master2上操作
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b.properties > /data/server/feige/rocketmq/logs/broker-b.log 2>&1 &

#2.启动Slave1，在Slave1上操作
nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a-s.properties > /data/server/feige/rocketmq/logs/broker-a-s.log 2>&1 &

#6、查看 NameServer（9876）和 Broker（10909、10911、10912）启动情况，在2台主机上操作
netstat -nltup|egrep "9876|10911|10912|11011|11012"
或者
sh bin/mqadmin clusterList -n "172.31.184.89:9876;172.31.186.180:9876"
或者
jps
3.3.测试集群生产消费情况
#在2台主机上操作
vim /etc/profile
#在文件/etc/profile中追加
export NAMESRV_ADDR="rocketmq-nameserver1:9876;rocketmq-nameserver2:9876"
#在控制台在其中1台机器上操作，启动一个生产者，在1个消费者机器就可以看到消费信息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
#在控制台其中2台机器上操作，启动2个消费者
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

这里的NAMESRV_ADDR变量名不能做任何修改，不然就可能报连不上Nameserver的错误。

i讯飞图片_1695298575007

正常消费成功的话，则消费者出现如下日志：

image-20230922124659669

3.5. 关闭命令
#关闭broker命令：
sh bin/mqshutdown broker
#关闭namesrv命令：
sh bin/mqshutdown namesrv

五、问题总结

java.lang.RuntimeException: Lock failed,MQ already started
	at org.apache.rocketmq.store.DefaultMessageStore.start(DefaultMessageStore.java:214)
	at org.apache.rocketmq.broker.BrokerController.start(BrokerController.java:827)
	at org.apache.rocketmq.broker.BrokerStartup.start(BrokerStartup.java:64)
	at org.apache.rocketmq.broker.BrokerStartup.main(BrokerStartup.java:58)
  1. 检查master节点和slave节点的端口是否冲突
  2. 检查master节点和slave节点的broker的存储路径是否冲突

六、安装管理面板

官网提供了两种部署方式，docker部署和源码部署，由于前面我们都是使用的直接部署，所以这里也采用官网提供的源码部署的方式。 （PS：docker 部署也尝试了，一直不行）。

  1. 下载源代码，源码地址：https://github.com/apache/rocketmq-dashboard/tags

  2. 在本地解压源码，然后，对源码进行编译打包，打包命令是：

    $ mvn clean package -Dmaven.test.skip=true

    然后，将生成的 rocketmq-dashboard-1.0.0.jar包上传到服务器，jar的相对路径是 target\rocketmq-dashboard-1.0.0.jar

  3. 运行 rocketmq-dashboard-1.0.0.jar

nohup java -jar rocketmq-dashboard-1.0.0.jar --server.port=18080 --rocketmq.config.namesrvAddr='172.31.184.89:9876;172.31.186.180:9876'>/data/server/feige/rocketmq/logs/mq-console.log 2>&1 &

这里需要指定两个参数：

  1. --server.port=18080 设置端口是18080，因为默认的端口是8080，很可能会冲突
  2. --rocketmq.config.namesrvAddr='192.31.184.89:9876;192.31.186.180:9876' 用于指定nameserver集群的地址，不指定的话会有问题。

启动成功之后访问控制台：http://192.31.186.180:18080/

image-20230922193948595

之乎者也·
关注
  • 23
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
RocketMQ集群的特点以及各种集群模式的介绍
江晓龙的博客
06-26 1万+
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
rocketmq 集群部署
linxi7的博客
05-11 3026
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
RocketMQ（五）RocketMQ集群架构
weixiaohuai的博客
03-20 1万+
一、RocketMQ集群架构 RocketMQ网络部署图如下： RocketMQ中主要涉及到四种角色：NameServer注册服务器、Broker服务器、Producer生产者、Consumer消费者。每种角色都可以单独搭建集群，下面我们分别介绍一下NameServer 集群、Broker 集群、Producer 集群、Customer 集群。 (一)、NameServer 集群 NameServer 是一个无状态的节点，可集群部署，节点都是各自独立的，无任何信息同步。 (二)、 Broker
RocketMQ_详细配置与使用详解
热门推荐
chuige2013的博客
03-27 3万+
1 MQ介绍 1.1为什么要用MQ 消息队列是一种“先进先出”的数据结构
RocketMQ 基础教程-安装篇-集群搭建实践 (多主多从)
最新发布
smart_an的专栏
06-24 890
作者简介：大家好，我是哥，前中兴通讯、美团架构师，现某互联网公司联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬学习必须往深处挖，挖的越深，基础越扎实！
RocketMQ快速实战以及集群架构详解
qq_27740127的博客
10-10 2672
MQ：MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。这个词可以分两个部分来看，一是Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上。二是Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。
RocketMQ第一课-快速实战以及集群架构搭建
qq_39944028的博客
07-25 2370
​ RocketMQ是阿里巴巴开源的一个消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。​ 早期阿里使用ActiveMQ，但是，当消息开始逐渐增多后，ActiveMQ的IO性能很快达到了瓶颈。于是，阿里开始关注Kafka。但是Kafka是针对日志收集场景设计的，他的高级功能并不是很贴合阿里的业务场景。
RocketMQ集群部署
wangqingjia的博客
06-22 9603
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
再读苹果《ThreadingProgrammingGuide》笔记（一）：初识线程
02-26
记得第一次读这个文档还是3年前，那时也只是泛读。如今关于iOS多线程的文章层出不穷，但我觉得若想更好的领会各个实践者的文章，应该先仔细读读官方的相关文档，打好基础，定会有更好的效果。文章中有对官方文档的...
基础部份 第一课：初识单片机
02-03
第一个问题：何谓单片机呢？要学单片机开发，我们首先得知道什么是单片机才行！一台能够工作的计算机要有这样几个部份构成：计算机的五个组成部份：运算器：用于实现算术和逻辑运算。计算机的运算和处理都在这里进行...
LINQ（1）：初识LINQ
03-03
面向对象的编程语言已经成为企业应用开发的重要工具，ADO.NET对关系数据提供了一种方便的接口，但还不是一种面向对象的方法。例如，下面的伪代码：User u = new User(); //代表user表的一个User类u.LoginName ...
全网最全的，RocketMQ全部配置表，一文看懂掌握
weixin_51702416的博客
04-15 7970
前言 RocketMQ对于JAVA程序员来说应该都不陌生，RocketMQ是一款由阿里巴巴开源出来的一款消息中间件，各个大厂基本上都在用的这么一个中间件，其优点自不必言说，所以今天就不给大家来剖析RocketMQ了。 我们来分享点不一样的，相信大家在用RocketMQ时或多或少都会遇到一些问题，而比较常见的就是当其报错或配置一个参数时，往往一些新手就会懵逼这是啥意思呀，不知道如何处理。所以小编在这里整理了一份《RocketMQ全部参数配置表》，帮助大家来更好的使用RocketMQ。 废话不多说直接上干
Rocketmq安装与环境配置、demo代码
tanqingfu1的博客
04-21 3365
1、下载Rocketmq rocket文件下载地址https://rocketmq.apache.org/release_notes/release-notes-4.4.0/ 解压之后存放在自己的盘符 2、环境变量配置 新建系统变量： 变量名： ROCKETMQ_HOME 变量值： *:、tools\rocketmq-all-4.4.0-bin-release （解压后的 RocketMq 路径） 3、启动mq相关服务 3.1启动namesrv服务 start mqname...
RabbitMQ 集群篇
路边烧卖
09-14 3105
RabbitMQ 集群篇 00、集群架构原理 前面我们有介绍到 RabbitMQ 内部有各种基础构件，包括队列、交换器、绑定、虚拟主机等，他们组成了 AMQP 协议消息通信的基础，而这些构件以元数据的形式存在，它始终记录在 RabbitMQ 内部，它们分别是： 队列元数据：队列名称和它们的属性 交换器元数据：交换器名称、类型和属性 绑定元数据：一张简单的表格展示了如何将消息路由到队列 vhost 元数据：为 vhost 内的队列、交换器和绑定提供命名空间和安全属性 PS：元数据，指的是包括队列名字属性、
RocketMQ安装和配置
testbaibai的博客
08-01 891
本文介绍了RocketMQ的安装和配置过程，包括下载、解压、配置环境变量和启动Name Server和Broker等步骤。希望通过本文的学习，您能够快速上手使用RocketMQ，并享受到它带来的便利和优势。
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 3035
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
RocketMQ 高可用架构原理
杨宇昌的博客
04-27 1873
RocketMQ 高可用架构 主从同步、故障转移
Windows环境下RocketMQ的安装及配置
m0_60517827的博客
04-18 6212
关于Windows环境下RocketMQ的安装及配置保姆级教程
探索Android开发：初识平台与环境搭建
1. **应用程序框架（Application Framework）**：这是开发者构建应用的基础，提供了可重用和可替换的组件，如活动（Activities）、服务（Services）、广播接收器（Broadcast Receivers）和内容提供者（Content ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

之乎者也·

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值