【RocketMQ源码分析】系统架构

最新推荐文章于 2024-08-20 23:45:00 发布
最新推荐文章于 2024-08-20 23:45:00 发布
阅读量296 收藏 1
点赞数
分类专栏： rocketmq 文章标签： RocketMQ NameSrv Broker Topic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengbinbbs/article/details/102521446
版权

在这里插入图片描述
如上图所示：
rocketmq整体架构分为四个核心部分：分别是：NameServer、Broker、Producer，Consumer。

NameServer
  • 官方解释：是一个几乎无状态节点，可集群部署，在消息队列 MQ 中提供命名服务，更新和发现 Broker 服务。
  • 简单的理解：NameServer相当于配置中心，维护Broker集群、Broker信息、Broker存活信息、主题与队列信息等。Broker向它注册路由信息，同时Client向其获取路由信息。NameServer本身是没有状态的,NameServer彼此之间不通信，每个Broker与集群内所有的Nameserver保持长连接。如果使用过Zookeeper，就比较容易理解了，但是功能比Zookeeper弱。
  • 每隔 10s 扫描 broker ,在2分钟内 Nameserver 没有收到 Broker 的心跳包，则关闭该连接,维护当前存活的Broker信息。
Broker
  • 官方解释：消息中转角色，负责存储消息，转发消息。分为 Master Broker 和 Slave Broker，一个 Master Broker 可以对应多个 Slave Broker，但是一个 Slave Broker 只能对应一个 Master Broker。Broker 启动后需要完成一次将自己注册至 Name Server 的操作；随后每隔 30s 定期向 Name Server 上报 Topic 路由信息。
  • 简单理解：Broker是RocketMQ的核心，提供了消息的接收，存储，拉取等功能，一般都需要保证Broker的高可用，所以会配置Broker Slave，当Master挂掉之后，Consumer就可以消费Slave；Broker分为Master和Slave，一个Master可以对应多个Slave，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave；
Producer
  • 官方解释：与 Name Server 集群中的其中一个节点（随机）建立长链接（Keep-alive），定期从 Name Server 读取 Topic 路由信息，并向提供 Topic 服务的 Master Broker 建立长链接，且定时向 Master Broker 发送心跳。
  • 简单理解：消息队列的生产者，需要与NameServer建立连接，从NameServer获取Topic路由信息，并向提供Topic服务的Broker Master建立连接；Producer无状态，看集群部署；
Consumer
  • 官方解释：与 Name Server 集群中的其中一个节点（随机）建立长连接，定期从 Name Server 拉取 Topic 路由信息，并向提供 Topic 服务的 Master Broker、Slave Broker 建立长连接，且定时向 Master Broker、Slave Broker 发送心跳。Consumer 既可以从 Master Broker 订阅消息，也可以从 Slave Broker 订阅消息，订阅规则由 Broker 配置决定。
  • 简单理解：消息队列的消费者，同样与NameServer建立连接，从NameServer获取Topic路由信息，并向提供Topic服务的Broker Master，Slave建立连接；
Topic和Message Queue

topic字面意思就是主题，用来区分不同类型的消息，发送和接收消息前都需要先创建Topic，针对Topic来发送和接收消息，为了提高性能和吞吐量，引入了Message Queue，一个Topic可以设置一个或多个Message Queue，有点类似kafka的分区(Partition)，这样消息就可以并行往各个Message Queue发送消息，消费者也可以并行的从多个Message Queue读取消息；

单机配置部署

以下部署在centos7，jdk1.8，rocketmq4.3.2；启动RocketMQ的顺序是先启动NameServer，然后再启动Broker；

1.NameServer启动

[root@localhost bin]# ./mqnamesrv

Java HotSpot(TM) 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release

Java HotSpot(TM) 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.

The Name Server boot success. serializeType=JSON

如上日志表示启动成功，默认端口为9876；

2.Broker启动

[root@localhost bin]# ./mqbroker

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000005c0000000, 8589934592, 0) failed; error='Cannot allocate memory' (errno=12)

#

# There is insufficient memory for the Java Runtime Environment to continue.

# Native memory allocation (mmap) failed to map 8589934592 bytes for committing reserved memory.

# An error report file with more information is saved as:

# /root/rocketmq-all-4.3.2-bin-release/bin/hs_err_pid3977.log

启动失败，报内存不足，主要是rocketmq默认配置的启动参数值比较大，修改runbroker.sh即可

[root@localhost bin]# vi runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

默认配置的可用内存为8g，虚拟机内存不够，修改为如下即可

JAVA_OPT="${JAVA_OPT} -server -Xms128m -Xmx128m -Xmn128m"

再次启动，日志如下，表示启动成功，默认端口为10911；

[root@localhost bin]# ./mqbroker

The broker[localhost.localdomain, 192.168.237.128:10911] boot success. serializeType=JSON

多级集群部署

分别部署两台NameServer，两台Broker并且分别提供Slave，准备两台电脑分别是本机的windows以及虚拟机centos；

1.启动NameServer

分别启动2台NameServer，端口号都使用默认的9876，地址端口如下：

192.168.237.128:9876

10.13.83.7:9876

2.启动Broker

每台机器上分别启动一个Master和一个Slave，互为主备，在主目录下的conf文件夹下提供了多种broker配置模式，分别有：2m-2s-async，2m-2s-sync，2m-noslave，可以以此为模版做如下配置：

2.1配置10.13.83.7Master和Slave

Master配置如下：

namesrvAddr=192.168.237.128:9876;10.13.83.7:9876

brokerClusterName=DefaultCluster

brokerName=broker-a

brokerId=0

deleteWhen=04

fileReservedTime=48

brokerRole=SYNC_MASTER

flushDiskType=ASYNC_FLUSH

listenPort=10911

storePathRootDir=E:/rocketmq-all-4.3.2-bin-release/store-a-m

Slave配置如下：

namesrvAddr=192.168.237.128:9876;10.13.83.7:9876

brokerClusterName=DefaultCluster

brokerName=broker-a

brokerId=1

deleteWhen=04

fileReservedTime=48

brokerRole=SLAVE

flushDiskType=ASYNC_FLUSH

listenPort=10811

storePathRootDir=E:/rocketmq-all-4.3.2-bin-release/store-a-s

分别启动结果如下：

E:\rocketmq-all-4.3.2-bin-release\bin>mqbroker -c E:\rocketmq-all-4.3.2-bin-release\conf\broker-m.conf

The broker[broker-a, 10.13.83.7:10911] boot success. serializeType=JSON and name

server is 192.168.237.128:9876;10.13.83.7:9876

以上是Master启动日志，Slave日志如下：

E:\rocketmq-all-4.3.2-bin-release\bin>mqbroker -c E:\rocketmq-all-4.3.2-bin-release\conf\broker-s.conf

The broker[broker-a, 10.13.83.7:10811] boot success. serializeType=JSON and name

server is 192.168.237.128:9876;10.13.83.7:9876

2.2配置10.13.83.7Slave

Master配置如下：

namesrvAddr=192.168.237.128:9876;10.13.83.7:9876

brokerClusterName=DefaultCluster

brokerName=broker-b

brokerId=0

deleteWhen=04

fileReservedTime=48

brokerRole=SYNC_MASTER

flushDiskType=ASYNC_FLUSH

listenPort=10911

storePathRootDir=/root/rocketmq-all-4.3.2-bin-release/store-b-m

Slave配置如下：

namesrvAddr=192.168.237.128:9876;10.13.83.7:9876

brokerClusterName=DefaultCluster

brokerName=broker-b

brokerId=1

deleteWhen=04

fileReservedTime=48

brokerRole=SLAVE

flushDiskType=ASYNC_FLUSH

listenPort=10811

storePathRootDir=/root/rocketmq-all-4.3.2-bin-release/store-b-s

启动日志分别如下：

[root@localhost bin]# ./mqbroker -c ../conf/broker-m.conf

The broker[broker-b, 192.168.237.128:10911] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876

[root@localhost bin]# ./mqbroker -c ../conf/broker-s.conf

The broker[broker-b, 192.168.237.128:10811] boot success. serializeType=JSON and name server is 192.168.237.128:9876;10.13.83.7:9876

3.配置说明

1.namesrvAddr

NameServer地址，可以配置多个，用逗号分隔；

2.brokerClusterName

所属集群名称，如果节点较多可以配置多个

3.brokerName

broker名称，master和slave使用相同的名称，表明他们的主从关系

4.brokerId

0表示Master，大于0表示不同的slave

5.deleteWhen

表示几点做消息删除动作，默认是凌晨4点

6.fileReservedTime

在磁盘上保留消息的时长，单位是小时

7.brokerRole

有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机制；

8.flushDiskType

刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后才返回成功状态，ASYNC_FLUSH不需要；

9.listenPort

启动监听的端口号

10.storePathRootDir

存储消息的根目录

chengbinbbs
关注
专栏目录
RocketMq源码解析一：源码结构介绍
money9sun的博客
05-21 179
从本章开始我们对Rocketmq的源码进行解析。使用版本是4.9.8。
RocketMQ源码分析（四）Consumer
YHJ
05-24 1110
1.5 Consumer 1.5.1 消息消费概述 消息消费以组的模式开展，一个消费组内可以包含多个消费者，每一个消费者组可订阅多个主题，消费组之间有集群式和广播模式两种消费模式。集群模式，主题下的同一条消息只允许被其中一个消费者消费。广播模式，主题下的同一条消息，将被集群内的所有消费者消费一次。消息服务器与消费者之间的消息传递也有两种模式：推模式、拉模式。所谓的拉模式，是消费端主动拉起拉消息请求，而推模式是消息达到消息服务器后，推送给消息消费者。RocketMQ消息推模式的实现基于拉模式，在拉模式上包
rocketmq源码分析
BraveHeart
04-23 3258
文章目录前言一、NameServer路由中心二、消息存储1.消息发送存储流程2.存储文件三、消息消费1、消息者启动流程2、消息拉取1、PullMessageService实现机制2、ProcessQueue实现机制3、消息拉取基本流程3.1客户端封装消息拉取请求3.2消息服务端Broker组装信息3.3消息拉取客户端处理消息3.4消息拉取长轮询机制分析3.5PullRequestHoldService3.6DefaultMessageStore$ReputMessageService详解总结 前言 疫情期
RocketMQ源码分析 - Producer
最新发布
mry6的博客
08-20 945
/创建主题//根据时间戳从队列中查找消息偏移量//查找消息队列中最大的偏移量//查找消息队列中最小的偏移量 long minOffset(final MessageQueue mq)//根据偏移量查找消息//根据条件查找消息//根据消息ID和主题查找消息//启动//关闭//查找该主题下所有消息//同步发送消息//同步超时发送消息//异步发送消息//异步超时发送消息//发送单向消息//选择指定队列同步发送消息。
RocketMQ-介绍
Logan的博客
08-10 3658
RocketMQ概述 1、RocketMQ简介 RocketMQ是一个统一消息引擎、轻量级数据处理平台。 RocketMQ是一款阿里巴巴开源的消息中间件。2016年11月28日，阿里巴巴向 Apache 软件基金会捐赠 RocketMQ，成为 Apache 孵化项目。2017 年 9 月 25 日，Apache 宣布 RocketMQ孵化成为 Apache 顶 级项目（TLP ），成为国内首个互联网中间件在 Apache 上的顶级项目。 官网地址：http://rocketmq.apache.org 2、R
Rocketmq源码分析
z785495295的博客
01-23 388
Consumer端：   RocketMQ提供了两种消费模式：PUSH（pull进行监听）和PULL（长轮训） 1. Push 方式：rocketmq 已经提供了很全面的实现， consumer 通过长轮询拉取消息后回调 MessageListener 接口实现完成消费， 应用系统只要 MessageListener 完成业务逻辑即可 Pull 方式：完全由业务系统去控制，定时拉取消...
RocketMQ 源码分析
lm324114的专栏
06-30 368
目录 NameServer 架构设计 启动流程 Step1 Step2 Step3 NameServer路由管理 路由元信息 路由注册 路由删除 路由发现 NameServer小结 Producer 方法和属性 ​ 启动流程 ​ 消息发送 NameServer 架构设计 Broker消息服务器在启动时向所有NameServer注册,消息生产者(Producer)在发送消息之前先从NameServer获取Broker服务器地址列表,然...
RocketMQ源码分析
lx9876lx的博客
02-27 5753
RocketMQ源码分析
springboot整合rocketmq源码
04-22
【标题】：SpringBoot整合RocketMQ源码解析 在当今的微服务架构中，消息队列（Message Queue）已经成为解耦、异步处理以及提高系统可靠性的关键组件。本主题将深入探讨如何在SpringBoot应用中整合Apache RocketMQ，...
rocketmq 源码 rocketmq 源码 rocketmq 源码
10-25
源码分析是深入理解其工作原理和优化技术的关键。RocketMQ 的源码解析有助于开发者更好地掌握其实现机制，提升在实际项目中的应用能力。 1. **整体架构** RocketMQ 采用主从复制模型，主要包含四个核心组件：...
rocketmq源码.zip
01-06
本压缩包"rocketmq源码.zip"包含了RocketMQ的源代码，让我们一起深入探讨 RocketMQ 的核心概念、架构设计以及实现机制。 一、RocketMQ的核心概念 1. 消息模型：RocketMQ 支持发布/订阅（Publish/Subscribe）和点对...
RocketMQ源码分析讲解
08-04
RocketMQ源码分析，分为存储篇、NameServer篇、Broker篇、Producer篇、Consumer篇五大部分进行代码级的讲解
4.RocketMQ源码分析
qq_24223159的博客
04-06 976
文章目录源文档参照码云代码架构设计NameServer 作用路由元数据结构NameServer启动流程步骤一步骤2步骤三Broker启动启动流程路由注册NameServer如何处理心跳发送消息生产者启动Broker启动思维导图 源文档参照 https://blog.csdn.net/lm324114/article/details/106968106 码云代码 https://gitee.com/yanweiling/rocketmq-all-4.3.0 架构设计 Broker消息服务器在启动时向所有
RocketMQ源码解析
weixin_43415481的博客
06-11 567
JAVA后端开发知识总结（持续更新…） RocketMQ源码解析 文章目录RocketMQ源码解析一、原理1.1 Producer的启动流程1.2 Producer的顺序消息参考文档 一、原理 1.1 Producer的启动流程 1.2 Producer的顺序消息   Producer：将需要保证顺序的消息按某个属性来自定义选择 MessageQueue，相同属性的分到同一个MessageQueue，然后采取同步发送的方式发送，这时也能保证前一个消息发送成功并返回响应后，才能发送下一个。  .
RabbitMQ（二）：五种模式的简单介绍
jet5devil的博客
10-23 464
RabbitMQ（二）：五种模式的简单介绍一、"Hello World" （点对点）二、Work Queues （工作队列）三、Publish/Subscribe（发布订阅）四、Routing（路由）五、Topics（话题） RabbitMQ（一）：Centos 7 安装 RabbitMQ，半详解 RabbitMQ Tutorials 不说别的，学习RabbitMQ 就不得不讲rabbitmq的工作模式，笔者也是学习不久，将自己学习的总结一下。 一、“Hello World” （点对点） 把上面这个图记
RocketMQ源码分析----HA相关(1)
菜鸟一名
05-13 549
简单介绍 RocketMQ搭建集群无非就是搭建Master和Slave，而根据Master和Slave的数量不同又分为几种方式： 1. 单Master无Slave：这种就是普通的单机模式了，Master一挂，消息服务就不可用了 2. 多Master无Slave：这种如果有其中一个Master挂了，集群还能使用，但是由于没有Slave，如果挂的那台Master还有未被消费的消息，那么将会暂时无...
RocketMQ源码解析-Broker的HA实现
不说话装高手
11-16 1247
以master异步复制为例子。 在rocketmq的slave broker机子当中，会在DefaultMessageStore的启动当中启动自己的HaService来进行自己的ha服务。     public void start() { this.acceptSocketService.beginAccept(); this.acceptSocketService.s...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值