RocketMQ原理解析-Remoting2. 通信层底层传输协议

最新推荐文章于 2024-05-13 11:28:28 发布
最新推荐文章于 2024-05-13 11:28:28 发布
阅读量5.5k 收藏 5
点赞数
分类专栏： rocketmq RocketMQ原理解析 文章标签： rocketmq 消息中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/quhongwei_zhanqiu/article/details/39154155
版权

RocketMq服务器与客户端通过传递RemotingCommand来交互，通过NettyDecoder，对RemotingCommand进行协议的编码与解码

 

协议格式 <length> <header length> <header data> <bodydata>

            1        2               3          4

协议分4部分，含义分别如下

1、大端4个字节整数，等于2、3、4长度总和

2、大端4个字节整数，等于3的长度

3、使用json序列化数据

4、应用自定义二进制序列化数据

 

 

Header部分数据是通过FastJson序列化数据

 


请求自定义字段都会实现CommandCustomHeader接口，在RemotingCommand序列化之前会将CommandCustomHeader的字段拷贝到Header的extFields中去，让后在整体通过Fastjson序列化

 

 Netty通过NettyEncoder、NettyDecoder自定义实现将RemotingCommand转换成byte[]

NettyEncoder:

 

 

NettyDecoder


斩秋
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ底层详解
qq_47815451的博客
10-16 631
RocketMQ底层详解 架构 Broker RocketMQ的服务，或者说是一个进程叫做Broker，作用是存储和转发消息。RocketMQ单机大约能承受10万QPS的请求。为了提升Broker的可用性，以及提升服务器性能，通常会做集群的部署。每个Broker保存总数据的一部分，因此可以实现横向扩展。 为了提升可靠性（防止数据丢失），每个Broker可以拥有自己的副本（slave）。 默认情况，读写都发生在主节点上。在slaveReadEnable = true的情况下，slave也可以参与读负载，
rocketmq-externals-master.zip
12-04
- **Remoting模块**：了解RocketMQ的网络通信机制，包括协议设计、RPC实现等。 5. ** RocketMQ的扩展性** - 分布式事务：RocketMQ提供了分布式事务消息的支持，确保跨系统的业务操作一致性。 - 定时/延时消息：...
RocketMQ（7）——通信协议
热门推荐
guolong1983811的专栏
12-16 1万+
https://zhuanlan.zhihu.com/p/30875730 RocketMQ的通信协议其实很简单，但是无论是官方的用户手册，还是网上的博客，并没有很清晰简单地把其中所有的内容和原理讲明白。 对于需要扩展其他语言SDK的开发来说，意味着必须要深入到Java源码才能弄懂其概念。 笔者通过深入源码，本文希望以尽量简短的语言描述清楚协议的每个字段及其意义。注：现
RocketMQ高手之路系列之十：RocketMQ网络通信原理分析（一）
最新发布
D1561691的博客
05-13 827
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
Rocketmq 通信协议及编解码
changjh1的博客
05-06 1863
一.通信协议的格式 1.length：4字节整数，二三四部分长度总和；（length - 4 - headLength） 2.header length：4字节整数，第三部分header data长度； 3.header data：存放Json序列化的数据； 4.body data：应用自定义二进制序列化的数据。 二.消息的编码过程 public ByteBuffer encode() { // 1> header length size ...
RocketMQ底层通信机制
weixin_34384557的博客
07-04 1286
分布式系统各个角色间的通信效率很关键，通信效率的高低直接影响系统性能，基于Socket实现一个高效的Tcp通信协议是个很有挑战的事情，本节说明RocketMQ是如何解决这个问题的 1.1.1 Remoting模块RocketMQ的通信相关代码在Remoting模块里，先来看看主要类结构。 RemotingService为最上层接口,定义了三个方法：voi...
rocketmq-all-4.7.0-source-release.zip
04-09
5. **Remoting**：远程调用模块，实现了网络通信的底层逻辑，包括TCP长连接、心跳检测、协议编码解码等。 6. **Store**：消息存储模块，RocketMQ将消息持久化到磁盘，包括CommitLog和ConsumerQueue等数据结构，确保...
最新版windows rocketmq-all-4.7.0-bin-release.zip
03-26
2. **conf目录**：包含配置文件，如`broker.conf`是Broker的配置文件，`namesrv.properties`是NameServer的配置文件，`remoting.properties`则涉及到RocketMQ内部网络通信的配置。 3. **lib目录**：包含了运行...
rocketMQ所需jar包.zip
08-19
6. **rocketmq-remoting-4.6.1.jar**：RocketMQ的远程调用模块，提供了基于Netty的RPC机制，实现了节点间的通信，包括Producer、Consumer与Broker、NameServer之间的通信。 7. **rocketmq-logging-4.6.1.jar**：...
九、RocketMQ Remoting（网络层）
sampson_0的博客
06-28 984
1.问题 RocketMQ线程模型是如何设计的 哪些请求走了10909端口，哪些走10911端口呢 如何实现长连接 如何实现同步、异步调用的超时控制 2.核心实现 1.类图doc/cn/image/rocketmq_design_3 2.服务端NettyRemotingServer 1.构造方法中，完成公共线程池的初始化 2.useEpoll：是否使用epoll->初始化netty的boss以及worker 条件:islinux && nettySer
.NET Remoting与分布式应用开发——初识 Remoting
03-16
.NET Remoting(下文简称Remoting)是一种可用于开发分布式应用程序的技术。其主要的结构，分为：远程对象、提供远程对象的远程服务器，以及可以访问何使用远程对象的客户端。这三个部分，可以分布于同一台计算机的同一个进程，或者是不同的进程，也可以是处于网络上的不同的计算机。Remoting技术最大的特点，就是对远程通信的过程进行了抽象和封装，使开发人员不必去处理底层通信的细节，而可以把重点放在对业务逻辑的处理上。而且Remoting的通信协议也比较灵活，可以使用多个通信协议、不同的数据格式类型，以及不同类型的序列化机制。在某些情况下，Remoting还允许你使用自定义的数据格式。
RocketMQ原理解析-Remoting1. 通信层实现
斩秋的专栏
09-09 5015
Rocketmq的通信层是基于通信框架netty 4.0.21.Final之上做了简单的协议封装，是强依赖。 一： NettyRemotingAbstract  Server与Client公用抽象类 ResponseFuture模式:         invokeSyncImpl和invokeAsyncImpl都使用了        请求方会new一个ResponseFuture对象缓
RocketMQ 源码阅读笔记 —— remoting（一）
qq_23016999的博客
09-05 1656
本文的源码版本是rocketmq-4.2.0 rocketmq-remoting：基于netty的底层通信实现，所有服务间的交互都基于此模块。 remoting模块主要的类结构如下： RemotingService 为最上层接口，定义了三个方法start、shutdown、registerRPCHook; RemotingServer 和 RemotingClient 都继承了 Rem...
RocketMQ的底层通信模块remoting 源码解析
bao2901203013的专栏
05-04 1339
remoting是RocketMQ的底层通信模块，RocketMQ底层通讯是使用Netty来实现的。
从源码分析RocketMQ系列-Remoting通信架构源码详解
初学者
04-03 2441
导语   这篇博客要从官方给出的一张图开始说起，之前的分析我们都是简单的分析了一下消息传递的流程，以及消息传递流程过程中出现的一些类的封装，并且提出，所有的封装操作都是为了更加高效的服务于NameServer、Broker、Producer、Consumer这种模式。之前是对节点上的内容进行分析，这篇博客就来详细分析一下连接两个节点之间的内容到底是是什么？ 文章目录概念详解源码分析Remoti...
RocketMQ Remoting模块源码功能分析
FirstMrRight的博客
03-16 458
基础通信模块 Remoting模块是RocketMQ的基础通信模块。 分布式应用中不可避免的是跨进程通信，此类问题可以通过RPC调用解决，RocketMQ的Producer、Consumer、Broker之间的通讯也是通过RPC实现的，高性能RPC调用的主题：传输、协议、线程。 需要约定好特定的通讯协议。 消息传输完成后，通过什么样的线程模型处理线程请求也很重要。 传输，IO通信模型决定了通信性能，RocketMQ的remoting模块通过Netty实现了IO多路复用的Reactor通信模型。 在Nam
rocketmq底层通信模块解析
weixin_34232363的博客
09-06 330
rocketMQ通信模块 Rocketmq的通信层是基于通信框架netty 4.0.21.Final之上做了简单的协议封装,基本的类图如下： 通讯模块是怎么进行的消息传输的 先来看看服务器端启动做了什么： netty服务器启动，监听在8888；netty设置了一个心跳检测器IdleStateHandler，读写超时时间为120s，在1...
RocketMQ原理解析-Remoting3.通信层整体交互图
liyanlei的专栏
12-21 307
http://blog.csdn.net/quhongwei_zhanqiu/article/details/39154265
rocketmq-remoting-netty依赖加载不到
07-13
如果rocketmq-remoting-netty依赖无法加载，可能有以下几个原因： 1. 依赖未添加到项目配置文件：请确保你的项目配置文件（如pom.xml或build.gradle）中已经正确添加了rocketmq-remoting-netty的依赖。例如，对于Maven项目，你可以在pom.xml中添加以下内容： ```xml <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-remoting-netty</artifactId> <version>版本号</version> </dependency> ``` 2. 依赖版本号错误：确认你使用的rocketmq-remoting-netty的版本号是否正确。可以查阅RocketMQ官方文档或参考相关示例来确定正确的版本号。 3. Maven本地仓库问题：如果你使用Maven作为构建工具，可能需要清理本地仓库并重新下载依赖。你可以尝试删除Maven本地仓库中与rocketmq-remoting-netty相关的文件夹，然后重新构建项目。 4. 网络问题：如果你在构建时遇到下载依赖失败的问题，可能是由于网络连接问题导致。请确保你的网络连接正常，并尝试重新构建项目。 如果尝试了以上步骤仍然无法解决问题，建议提供更详细的错误信息、项目配置文件和上下文信息，以便更好地帮助你解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值