Hadoop RPC源码解析——RPC框架详解

        RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC采用客户机/服务器模式，其框架图如图2-1所示。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

一个典型的RPC框架包括以下几个部分：

1、 通信模块：两个相互协作的通信模块实现请求-应答协议。他们在客户机和服务器之间传递请求和应答消息，一般不会对数据报进行任何处理。

要通过RPC服务进行通信，服务的提供方必须实现某个接口，以下分别列出了与HDFS和MapReduce相关的接口，这些接口均继承自VersionedProtocol接口。

与HDFS相关的协议：

内部类	功能
ClientDatanodeProtocol	client和datanode间的协议接口，用于数据块恢复
ClientProtocol	client与Namenode交互的接口，所有控制流的请求均在这里，如：创建文件、删除文件等
DatanodeProtocol	Datanode与Namenode交互的接口，如心跳、块报告等
NamenodeProtocol	SecondaryNode与Namenode交互的接口

这四者在HDFS的结构图上的位置如图3-2所示：

图表 3-2

与MapReduce相关的协议：

内部类	功能
InterDatanodeProtocol	Datanode内部交互的接口，用来更新block的元数据
InnerTrackerProtocol	TaskTracker与JobTracker交互的接口，功能与DatanodeProtocol相似
JobSubmissionProtocol	JobClient与JobTracker交互的接口，用来提交Job、获得Job等与Job相关的操作
TaskUmbilicalProtocol	Task中子进程与母进程交互的接口，子进程即map、reduce等操作，母进程即TaskTracker，该接口可回报子进程的运行状态。

图表 3-3

这四者在MapReduce的结构图上的位置如图3-4所示：

图表 3-4

2、 Stub模块：客户端和服务端都包含Stub程序，可将之看作代理程序。它使得远程调用表现的跟本地调用一样，对客户程序完成透明。

3、 调度程序：调度程序接受来自通信模块的请求信息，并根据其中的标识选择一个Stub程序处理。通常当客户端并发请求量较大时，会采用线程池提高处理效率。

4、客户程序/服务过程：请求的发出者和处理者。在分布式环境下，需要考虑网络通信，这不得不增加通信模块和Stub程序以保证函数调用的透明性。

一个Hadoop RPC使用方法可以分为以下几个步骤。

步骤一 定义RPC协议。RPC协议是客户端和服务器端之间的通信接口，它定义了服务器对外提供的服务接口。

步骤二 实现RPC协议。 Hadoop RPC通常是一个Java接口，用户需要实现该接口。

步骤三 构造并启动RPC Server。直接使用静态方法getServer()构造一个RPC Server，并调用start()方法启动该Server。

步骤四 构造RPC Client，并发送RPC请求。使用静态方法getProxy()构造客户端代理对象，直接通过代理对象调用远程端的方法。