【HDFS】Hadoop RPC是如何知道请求头和数据长度的？

最新推荐文章于 2022-10-20 21:18:49 发布
最新推荐文章于 2022-10-20 21:18:49 发布
阅读量250 收藏
点赞数
分类专栏： HDFS全方位实战 文章标签： hadoop hdfs rpc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiguafu/article/details/127064294
版权
HDFS全方位实战 专栏收录该内容
171 篇文章 147 订阅 ¥29.90 ¥99.00
订阅专栏
这篇博客探讨了在Hadoop的RPC机制中，如何确定请求头和数据的长度。作者从`Server.Connection#readAndProcess`方法出发，发现客户端在发送RPC请求时，并未明显指定总长度。通过跟踪源码，发现在`Client.Connection#sendRpcRequest`方法中，`ResponseBuffer`的`setSize`方法在FramedBuffer的前四个字节设置了数据的长度，从而实现了长度的标识。文章揭示了Hadoop RPC在传输过程中如何隐含地携带并解析数据长度信息。
摘要由CSDN通过智能技术生成

org.apache.hadoop.ipc.Server.Connection#readAndProcess:

下面这段代码读取出RPC Header + RPC请求体的长度。读到一个int型整数dataLength里。

        if (data == null) {
    // just read 4 bytes -  length of RPC packet
          dataLengthBuffer.flip();
          dataLength =<
了解本专栏 订阅专栏 解锁全文
叹了口丶气
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
大数据 hdfs hadoop hbase jmeter
10-23
在IT行业中，大数据处理是当前的关键技术之一，而Hadoop、HDFS和HBase则是其中的核心组件。Hadoop是一个开源框架，主要用于存储和处理大规模数据，而HDFS（Hadoop Distributed File System）是Hadoop的核心部分，是...
RPC协议
鼓浪屿岛与海的博客
09-13 1286
一.是什么？ 一句话概括，rpc协议是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 二.有啥用? 常应用场景： 主要是用在大型服务内部。可以把不同功能拆分成不同的服务模块。这样在业务调用的时候通过rpc来进行通信。获取其他业务的返回值。从而组合成一个更大的服务提供给外面。rpc进行了服务拆分。提高健壮性。不会受到其他服务的影响。 优点： 1. 提升系统可扩展...
SpringCloud分布式RPC调用openFeign实现，转发请求头引发java.lang.IllegalArgumentException
Eden4J的一路成长
12-17 1427
OpenFeign，服务间调用的请求头转发过程要小心content-length 当下主流的分布式框架中，涉及到的服务之间的调用，有多种方案；我采用的是使用OpenFeign ，服务间的调用往往就涉及到请求头中一些参数的转发，常见例如：访问令牌；接下来，就是我在实际使用过程中对于请求头转发的处理和碰到问题的描述，相应的解决方式，希望能够为一些人提供借鉴。 请求头转发 处理 /** * @author Eden4J * @description Feign相关配置类 * @date 2021-09-
记：关于一次HTTP远程调用（RPC）问题--请求头部
hulonghe123的博客
03-25 948
记：关于一次HTTP远程调用（RPC）问题--请求头部世界如此多娇，我却依然暴躁起因经过结果劈里啪啦插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 世界如此多娇，我却依然暴躁 这是一段废话，当然开头我就说了，这是一段废话。如果您认真读了，那只能说声Sorry，我就是故意的。当然没别的意思，
四种常见请求头设置
热门推荐
weixin_43099985的博客
05-31 2万+
application/x-www-form-urlencoded 这应该是最常见的 POST 提交数据的方式了。浏览器的原生 form 表单，如果不设置 enctype 属性，那么最终就会以 application/x-www-form-urlencoded 方式提交数据。请求类似于下面这样（无关的请求头在本文中都省略掉了）： POST http://www.example.com HTTP...
浅谈RPC与HTTP区别
solo的博客
09-16 1365
1.1.1RPC与HTTP区别 网络7层协议如图所示. 层级关系与对应的协议。如图所示 区别: RPC是传输层协议(4层).而HTTP协议是应用层协议(7层). RPC协议可以直接调用中立接口,HTTP协议不可以. RPC通信协议是长链接,HTTP协议一般采用短连接需要3次握手(可以配置长链接添加请求头Keep-Alive: timeout=20). (长连接，指在一个连接上可以连续发送多个数据包，在连接保持期间，如果没有数据包发送，需要双方发链路检测包。) RPC协议传递数据是加密压缩传输.HTTP协
Hadoop技术HDFS元数据共7页.pdf.zip
11-21
在深入探讨Hadoop技术及其HDFS（Hadoop Distributed File System）元数据之前，我们首先要理解Hadoop的基本概念。Hadoop是Apache软件基金会开发的一个开源框架，主要用于处理和存储大规模数据集。它分布式运行于由...
人工智能-hadoop-基于hdfs spark的视频非结构化数据计算
最新发布
03-14
现有的大数据平台Hadoop、Spark等都在处理文本数据方面具有很好的支持，并且效率也经过了各种优化，所以在利用分布式框架来处理日志类数据，工作难度往往是如何对这些数据进行逻辑上的处理。但是对于非结构化数据，...
Hadoop-HDFS安装和管理.doc
09-18
Hadoop_HDFS安装和管理
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
【GRPC】 客户端、服务端配置请求头（拦截器）
举个栗子の不容易的博客
06-02 1万+
Server 服务端拦截器配置： import org.springframework.context.ApplicationContext; import org.springframework.data.redis.core.RedisTemplate; import io.grpc.ForwardingServerCall; import io.grpc.Metadata; import io.grpc.ServerCall; import io.grpc.ServerCallHandler; im
motan rpc传递内容长度导致请求超时
weixin_33686714的博客
09-05 439
excel导出部门达标率功能, 发现当导出部门条数10000左右时正常, 20000时会超时, debug发现service层正常返回了, 只是resource层收不到数据, 导致超时. 于是开始改motan配置, rpc调用超时由之前的2000改为20000, 依然超时. ...
Dubbo—基于dubbo框架下的RPC通讯协议性能测试
测试界的彭于晏的博客
09-15 601
一、前言 　　Dubbo RPC服务框架支持丰富的传输协议、序列化方式等通讯相关的配置和扩展。dubbo执行一次RPC请求的过程大致如下：消费者（Consumer）向注册中心（Registry）执行RPC请求，注册中心分配服务URL并路由到具体服务提供方（Provider），消费者和服务提供方建立网络连接，服务提供方在本地创建连接池对象并提供远程服务，对于长连接类型协议（如dubbo协议）将保持连接，减少握手认证，调用过程中可以避免频繁建立和断开连接导致的性能开销，保持长连接需要有心跳包的发送，所以对于非频
【BugFix】IDEA控制台无输出问题的解决
Badme
10-20 4295
【BugFix】IDEA控制台无输出问题的解决
【HDFS】简要了解HDFS的预读（read-ahead）机制
Badme
04-02 4187
【HDFS】简要了解HDFS的预读（read-ahead）机制
【YARN】（1）-- 整体架构、RM、NM、AM等基础组件快速理解
Badme
04-10 2880
【Apache Hadoop YARN】-- 整体架构、RM、NM、AM等基础组件快速理解
【精】HDFS Balancer原理、参数详解
Badme
02-18 2798
【精】HDFS Balancer原理、参数详解
聊聊分布式存储系统中的心跳机制以及主节点下发指令给从节点
Badme
11-28 2731
心跳( heartbeat )是分布式系统中常用的技术。顾名思义，心跳就是以固定的频率向其他节点汇报当前节点状态的方式。收到心跳，一般可以认为发送心跳的这个节点在当前的网络中状态是良好的。 同时分布式存储系统中经常会采用master-slave架构（也即主从架构），从节点通常会使用心跳技术向主节点汇报自身的健康状况，或者其他请求，主节点处理接收到的心跳信息，并响应给从节点一些操作指令，从节点收到这些操作指令后，会进行相应的操作。今天这篇文章就来分析总结一下这个实现方案。 一、 概述 先总结一下如何基于心跳机
【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解
Badme
03-20 2551
【HDFS】EditLogTailer功能及原理（二）-- selectInputStreams细节详解
Hadoop HDFS：大数据处理的关键技术
"这篇资料主要介绍了大数据处理的关键技术——Hadoop的分布式文件系统HDFS，以及Hadoop在大数据处理中的重要角色。" Hadoop是Apache软件基金会开发的一个开源框架，专门设计用于处理和存储大规模数据。它实现了可靠...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

叹了口丶气

觉得有收获就支持一下吧~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值