RocketMQ源码包下有9个模块:
rocketmq-broker
rocketmq-store
rocketmq-common
rocketmq-srvutil
rocketmq-tools
rocketmq-namesrv
rocketmq-remoting
rocketmq-client
rocketmq-filtersrv
#模块介绍
rocketmq-broker
对consumer和producer来说是服务端,接收producer发来的消息并存储,同时consumer来这里拉取消息。真正的mq服务
rocketmq-store
存储服务,消息存储,索引存储,commitLog存储。负责对数据刷盘、写盘、存储
rocketmq-common
通用的常量枚举、基类方法或者数据结构,按描述的目标来分包通俗易懂。包名有:admin,consumer,fileter,hook,message等。 封装了一些公用的方法,供其他模块使用
rocketmq-srvutil
只有一个ServerUtil类,提供Server程序依赖,目的是为了拆解客户端依赖,尽可能减少客户端的依赖。
rocketmq-tools
命令行工具
rocketmq-namesrv
类似SOA服务的注册中心,这里保存着消息的TopicName,队列等运行时的meta信息。一般系统分dataNode和nameNode,这里是nameNode。没有任何角色去使用,都是nameserver去监控别个,这个是服务发现的概念
rocketmq-remoting
用Netty4写的客户端和服务端,fastjson(阿里自己的)做的序列化,自定义二进制协议。用于底层数据通信。
rocketmq-client
客户端,包含producer端和consumer端(的api),发送消息和接收消息的过程。
rocketmq-filtersrv
消息过滤器server
#层次
rocketmq-broker rocketmq-filtersrv rocketmq-tools rocketmq-namesrv(组件:可单独使用)
|
rocketmq-store(存储) rocketmq-client
|
rocketmq-srvutil(服务发现解耦)
|
rocketmq-common(公共包) rocketmq-remoting(通信)
#NameServer与Zookeeper
rmq2X版本用的是Zookerper,3版本为何摒弃,消息投递和消费要记录一个位置,这个位置之前是放在Zookeeper上去保存的,这就导致频繁操作zookeeper,虽然zookeeper读写性能都挺高,但是应用到阿里,天猫百万级别就有点挡不住了,所以3版本就舍弃了zookeeper,真正的存储包括记录位置都放在了broker里面来做,NameServer单纯的实现一个路由的机制,这也就是性能提高的关键点。
#底层通信
用netty来做,异步IO模型
rocketmq-broker
rocketmq-store
rocketmq-common
rocketmq-srvutil
rocketmq-tools
rocketmq-namesrv
rocketmq-remoting
rocketmq-client
rocketmq-filtersrv
#模块介绍
rocketmq-broker
对consumer和producer来说是服务端,接收producer发来的消息并存储,同时consumer来这里拉取消息。真正的mq服务
rocketmq-store
存储服务,消息存储,索引存储,commitLog存储。负责对数据刷盘、写盘、存储
rocketmq-common
通用的常量枚举、基类方法或者数据结构,按描述的目标来分包通俗易懂。包名有:admin,consumer,fileter,hook,message等。 封装了一些公用的方法,供其他模块使用
rocketmq-srvutil
只有一个ServerUtil类,提供Server程序依赖,目的是为了拆解客户端依赖,尽可能减少客户端的依赖。
rocketmq-tools
命令行工具
rocketmq-namesrv
类似SOA服务的注册中心,这里保存着消息的TopicName,队列等运行时的meta信息。一般系统分dataNode和nameNode,这里是nameNode。没有任何角色去使用,都是nameserver去监控别个,这个是服务发现的概念
rocketmq-remoting
用Netty4写的客户端和服务端,fastjson(阿里自己的)做的序列化,自定义二进制协议。用于底层数据通信。
rocketmq-client
客户端,包含producer端和consumer端(的api),发送消息和接收消息的过程。
rocketmq-filtersrv
消息过滤器server
#层次
rocketmq-broker rocketmq-filtersrv rocketmq-tools rocketmq-namesrv(组件:可单独使用)
|
rocketmq-store(存储) rocketmq-client
|
rocketmq-srvutil(服务发现解耦)
|
rocketmq-common(公共包) rocketmq-remoting(通信)
#NameServer与Zookeeper
rmq2X版本用的是Zookerper,3版本为何摒弃,消息投递和消费要记录一个位置,这个位置之前是放在Zookeeper上去保存的,这就导致频繁操作zookeeper,虽然zookeeper读写性能都挺高,但是应用到阿里,天猫百万级别就有点挡不住了,所以3版本就舍弃了zookeeper,真正的存储包括记录位置都放在了broker里面来做,NameServer单纯的实现一个路由的机制,这也就是性能提高的关键点。
#底层通信
用netty来做,异步IO模型