【Hadoop】RPC Serialization Format

最新推荐文章于 2024-11-03 17:39:57 发布
最新推荐文章于 2024-11-03 17:39:57 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： RPC Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjun2915/article/details/8958154
版权
本文深入探讨Hadoop的RPC（远程过程调用）机制，重点在于其序列化格式。RPC Client和Server的交互中，输入参数和输出返回值均使用Writable进行序列化。输入参数的序列化形式包括方法名、参数个数和ObjectWritable包装的参数值，其中ObjectWritable支持多种数据类型。返回值同样为ObjectWritable，包含返回值类型和值。这种设计是为了在Server端利用Java Reflection进行方法调用，确保通用性。
摘要由CSDN通过智能技术生成

本文学习如何将远程调用的输入参数和输出返回值的序列化格式，代码描述参考  http://blog.csdn.net/tragicjun/article/details/8963129

org.apache.hadoop.ipc.Client有如下方法：

public Writable call(Writable param, ConnectionId remoteId)

org.apache.hadoop.ipc.Server有如下方法：

public abstract Writable call(Class<?> protocol, Writable param, long receivedTime)

显然，从RPC Client和Server的角度看，远程调用的输入参数和输出返回值都是Writable，其中输入参数的Writable是org.apache.hadoop.ipc.RPC.Invocation，而输出返回值的Writable是org.apache.hadoop.io.ObjectWritable。下图分别展示了

最低0.47元/天 解锁文章
天外有菌
关注
专栏目录
Day21包和模块
weixin_50199478的博客
10-30 620
一个.py文件就是一个模块。模块是含有一系列数据、函数、类等的程序。包是将模块以文件夹的组织形式进行分组管理的方法，以便更好地组织和管理相关模块。包是一个包含一个特殊的__init__.py文件的目录。
Backtrader 数据篇 02
进击的小学生
10-30 1013
重新自定义数据读取函数，自定义的方式就是继承数据加载类 GenericCSVData、PandasData 再构建一个新的类，然后在新的类里统一设置参数。如果传递负值（例如：-1），则表示 CSV 数据中不存在该字段自定义的函数，不会修改 Backtrader 底层的数据表格内 lines 的排列规则。
变量与数据类型：从整数到字符串
redrose2100的博客
10-30 80
变量是用于存储数据的命名空间。在Python中，定义变量非常简单，你只需要将一个值赋给变量名即可。# 定义变量x = 10变量名只能包含字母、数字和下划线（_）。变量名不能以数字开头。变量名不能为Python的关键字（如ifelsewhile等）。# 合法的变量名age = 25# 非法的变量名# 1st_num = 10 # 不能以数字开头# if = "condition" # 不能使用Python关键字。
196.245.124.255.236.194.0.0.0.0.0.0.0.0.9 用python截取最后一个点后面的数据
qq_44534541的博客
10-30 143
这个方法从字符串的右边开始分割，并且可以指定分割的最大次数。在Python中，如果你想要截取字符串中最后一个点（，因为它是最后一个点后面的数据。这段代码会处理没有点的情况（）和点的后面不是数字的情况（）后面的数据，你可以使用。
植物病害图像分割系统：智能化检测
prchen818的博客
10-30 973
数据集信息展示在现代农业生产中，植物病害的早期识别与处理至关重要。为了提升植物病害的自动检测与分割能力，本研究选用了名为“new_plant_diseases”的数据集，旨在训练和改进YOLOv8-seg模型，以实现高效、准确的植物病害图像分割。
安装python时Install launcher for all users灰色无法选中解决方法
夏末蝉未鸣的博客
10-30 231
解决办法：可能是上一次卸载python没卸载干净，在控制面板中卸载，把Python Launcher卸载掉。卸载完后，就可以正常安装了。
LeetCode 每日一题 2024/10/28-2024/11/3
AlphaTao的博客
11-03 622
记录了初步解题思路 以及本地实现代码；并不一定为最优 也希望大家能一起探讨 一起进步
嵌入式软件在电子烟开发中的应用
不迁怒，不贰过。小知识，大智慧。
10-30 2424
本文将深入探讨嵌入式软件在电子烟开发中的应用，重点分析如何实现恒平均电压、恒有效电压和恒功率输出。这些输出模式的实现，不仅是技术上的挑战，更是提升用户体验的关键所在。希望通过这篇博文，能够为电子烟开发者提供一些有价值的见解和实践经验，助力他们在这一快速发展的行业中取得成功。
【基础】使用template替换yaml中的变量
北漂一枚的博客
11-03 841
在接口自动化测试的时候，yaml 文件一般放测试的数据或当配置文件使用，yaml 文件存放静态的数据是没问题的，python的数据类型基本上都是支持的。有时候我们想在 yaml 文件中引用变量来读取 python 代码的设置值。
在linux系统中安装pygtftk软件
最新发布
hgz2020的博客
11-03 157
pygtftk
Huggingface transformers 和 modelscope 框架运行原理
猛犸象
10-31 635
Huggingface transformers 和 modelscope 框架运行原理
Python 自动化运维：深入探索数据采集技术
weixin_52392194的博客
10-29 667
此外，在进行数据采集时，应注意隐私保护和数据安全。只有在确保合法合规的情况下，数据采集活动才能持续进行，为后续的分析与应用打下良好的基础。通过Scrapy的管道，数据可以被自动存储，极大地简化了后续的数据管理和分析过程。使用Beautiful Soup还可以实现更多复杂的操作，比如提取特定类或ID的元素，过滤不需要的标签等。Scrapy的强大之处在于其内置的中间件和管道，可以方便地处理请求和响应，存储采集到的数据。在提取完当前页面的数据后，代码继续查找下一页的链接，若存在，则发起新的请求进行下一步的采集。
阿里天池新闻推荐项目：特征工程
qq_34517343的博客
10-29 920
使用get_hist_and_last_click函数把训练集、验证集和测试集分别进行历史和最后一次的划分"""获取当前数据的历史点击和最后一次点击:param all_click: 用户全部点击日志:return: 历史点击信息，最后一次点击信息"""# 如果用户只有一个点击，hist为空了，会导致训练的时候这个用户不可见，此时默认泄露一下else:print("划分历史点击信息和最后一次点击信息！")
Python变量
疯一样的码农
10-30 1525
通过阅读这篇博客，你可能已经了解到变量是什么、声明变量的规则、如何对变量执行算术运算，以及如何使用索引位置从数字和字符串变量中提取元素。变量的概念：变量是程序中用于存储数据值的标识符。变量命名规则：变量名必须以字母或下划线开头，并且可以包含字母、数字和下划线。变量名是区分大小写的，且不能使用Python的保留关键字。算术运算：你可以轻松地对数字变量执行加法、减法、乘法和除法等运算，并将结果存储在新的变量中。字符串操作：使用索引可以从字符串中提取单个字符或子字符串。
python之字典总结
weixin_51891232的博客
11-02 461
python之字典总结
内存马浅析
好记性不如烂笔头
10-30 1039
之前在jianshu上写了很多博客，但是安全相关的最近很多都被锁了。所以准备陆陆续续转到csdn来。内存马前几年一直是个很热门的漏洞攻击手段，因为相对于落地的木马，无文件攻击的内存马隐蔽性、持久性更强，适用的漏洞场景也更多。
pip install fitz -i https://pypi.doubanio.com/simple/
huanglianggu的专栏
11-01 178
【代码】pip install fitz -i https://pypi.doubanio.com/simple/
set集合
m0_74312445的博客
10-29 169
在这个例子中，“setName”方法用于设置“Person”对象的“name”属性。在许多编程语言中，如 Java、Python 等，有“Set”这种数据结构。很多时候会看到以“set”开头的方法名，通常用于设置某个对象的属性值。
Python包和模块
qq_70019265的博客
10-30 1011
一个.py 文件就是一个模块模块是含有一系列数据函数类等的程序作用把相关功能的函数等放在一起有利于管理，有利于多人合作开发模块的分类内置模块（在python3 程序内部，可以直接使用）标准库模块(在python3 安装完后就可以使用的 )第三方模块（需要下载安装后才能使用）自定义模块(用户自己编写)模块名如果要给别的程序导入，则模块名必须是 标识符实例小张写了一个模块，内部有两个函数，两个字符串... 此处省略 200字此函数用来求和。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值