hadoop 2.0 中的两种RPC详解
Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC.
Hadoop 2.0中存在两个ipc包, 分别在hadoop-common和hadoop-yarncommon项目下. 分别为hadoop RPC和新的YarnRPC.
1. 使用hadoop ipc包的协议
原有的协议
协议名 | 客户端 | 服务端 | 主要方法 |
ClientProtocol | Client | Namenode | |
DatanodeProtocol | DN | NN | |
NamenodeProtocol | SNN | NN | |
RefreshAuthorizationPolicyProtocol | Client | NN | |
RefreshUserMappingsProtocol | Client | NN | |
GetUserMappingsProtocol | Client | NN | |
TaskUmbilicalProtocol | YarnChild(运行task的containner) | AM | 状态更新, 获取map结束事件等 |
2. 使用YarnRPC的协议
这些都是用在yarn上的协议, 并且都是0.23开始新增的协议.
协议名 | 客户端 | 服务端 | 主要方法 |
ClientRMProtocol | Client | RM | 提交,查询,kill AM等 |
AMRMProtocol | AM | RM | 注册, 结束AM, 请求资源 |
ContainerManager | AM | NM | 启动, 停止, 查询 container |
RMAdminProtocol | Client | RM | 刷新node, queu, acl等 |
HSClientProtocol | Client | HistoryServer | 继承于MRClientProtocol |
MRClientProtocol | Client | AM | 获取job/task信息, kill job/task等 |
下图显示了yarn中各个进程使用的协议.
3. 为什么要新增YarnRPC呢
事实上, YarnRPC只是封装了hadoop-common的ipc, 最终还是使用了hadoop-common的ipc包, 包括server和client, 所以底层的网络通信方法是一样的.
新增的协议都使用了YarnRPC包,
至于底层使用何种序列化方式, 可以通过配置决定:
yarnRPC的底层序列化方式: yarn. ipc. serializer.type 默认为protocolbuffers
hadoop-common RPC的序列化方式: rpc.engine.( protocol.getName()) 默认为WritableRpcEngine