Yarn02：基础库介绍

冬至喵喵

已于 2022-06-11 18:53:41 修改

阅读量140

点赞数

文章标签： hadoop mapreduce big data

于 2022-06-11 18:50:24 首次发布

本文链接：https://blog.csdn.net/ALX3li/article/details/125237564

版权

上篇文章Yarn诞生背景、架构和工作机制介绍介绍了Yarn是Hadoop 2.0中的资源管理系统，它的核心设计逻辑是修改MR v1的运行时环境，将MR v1中的JobTracker划分成两个独立的服务：ResourceManager和ApplicationMaster，其中RM负责整个系统的资源管理和分配，AM负责应用程序的管理。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的 ApplicationMaster，它负责想Resource Manager申请资源，并要求NodeManager启动可以占用一定资源的任务。由于不同的 ApplicationMaster 被分布到不同的节点上，因此他们之间不会相互影响。

YARN基础库

1. 序列化 Protocal Buffers

Protocal buffers 是一种高效的结构化数据存储格式，可以用于进行数据序列化和反序列化

源码路径：hadoop-3.2.3-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-api/src/main/proto/yarn_protos.proto

在YARN中，所有RPC函数的参数均采用Protocol Buffers定义的，相比于MRv1中基于Writable序列化的方法，Protocol Buffers的引入使得YARN在向后兼容性和性能方面向前迈进了一大步。

YARN中使用Protocol Buffer定义的RPC包含：

applicationmaster_protocol.proto : AM 与 RM 之间的协议 Application- MasterProtocol。
applicationclient_protocol.proto: JobClient(作业提交客户端)与 RM 之间的协议 ApplicationClientProtocol。
containermanagement_protocol.proto: AM 与 NM 之间的协议Container- ManagementProtocol。
resourcemanager_administration_protocol.proto: Admin(管理员)与 RM 之间的通信协议 ResourceManagerAdministrationProtocol。
yarn_protos.proto: 定义了各协议RPC的参数。
ResourceTracker.proto: 定义了 NM 与 RM 之间的协议 ResourceTracker。

除了以上几个内核中的协议，YARN 还使用 Protocol Buffers 对 MapReduce 中的协议进行了重新定义：

MRClientProtocol.proto : JobClient(作业提交客户端)与 MRAppMaster 之间的协议— MRClientProtocol。

mr_protos.proto:定义了 MRClientProtocol 协议的各个参数。