讲了Hadoop RPC的使用方法,这一次我们从demo中一层层进行分析。
RPC说白了,就3个核心,交互协议、服务端、客户端。
在Hadoop RPC(hadoop-common-2.4.jar)中也是这样
交互协议
org.apache.hadoop.ipc.VersionedProtocol ,所有协议的父类
其实就2个方法,版本与签名。不同版本与签名的协议,就算同一个类名也无法通信。
服务端:
RPC.Server 处理客户端的连接请求,并处理相关业务,最后返回结果
客户端:
Client,封装请求数据,并接收Response
好,正式开始分析源码吧。
协议部分,我就不说了,就是实现VersionedProtocol接口并添加一些业务方法即可。
我们从客户端程序入口点开始分析,先看看客户端是如何取得协议对象的。
想要与服务端通信就先要得到协议对象,RPC.getProxy就是得到协议对象的方法,沿着代码进入最底层,你会发现,它默认先得到一个RpcEngine(默认实现是WritableRpcEngine),它是什么呢?简单点说就是,它相当于我们启动服务器,获取协议的类。有了WritableRpcEngine后,调用它的getProxy方法,得到我们的协议代理对象(采用java的动态代理机制实现),对应我们的例子就是ClientProtocol的代理对象。
最关键就是这个Invoker对象,我们调用ClientProtocol.echo()方法时候,会先触发这个Invoker.invoke()方法。
Invoker对象如何构造的呢
其实就创建了2个成员变量:
ConnectionID:
保存目标地址(remoteAddress,protocol)和用户ticket,这三者可以唯一确定一个Connection
Client:
主要完成的功能是发送远程调用信息并接收返回结果。图中的factory,是SocketFactory
接着,当我们调用ClientProtocol.echo()方法的时候,触发Invoker.invoke,让我们看看这一步又干了什么事
封装一个Invocation对象,这个对象持有目标方法和参数。
进入client.call()方法看看
这下切入正题了
-
首先创建一个Call对象,封装了RPC请求,成员变量有唯一标识id、请求数据、返回数据、是否完成等
-
创建Connection对象(它是个线程),并与服务器连接,即Client与Server之间的一个通信连接。保存未完成的Call对象至哈希表,唯一标识ID,Server通信的Socket,网络输入输出流。
-
调用connection.sendRpcRequest(call);将Call对象发送给Server
-
等待Server端处理Call请求。服务端处理完成后,通过网络返回给Client端。这部分代码不在call方法里,还记得1中Connection是个线程吗?去run方法看看
线程一直循环,直到Server返回结果,然后调用receiveRpcResponse方法返回数据。
-
再次回到call方法,它也有个循环,一直在等待结果返回。结果返回后,检查下成功失败后,就将Call从哈希表中移除了。
经历了上面5步,String result = proxy.echo("123"); 的结果是result = hello 123
最后,我们再看看服务端是怎么工作的。
如何启动服务?
启动服务器很简单,通过RPC.Builder().build()构造Server后就能start启动了。我们进入build()方法内部看看。
return这里,想想看,它其实就是调用WritableRpcEngine.getServer()方法。
看看代码非常多,其实最关键的就一个Server.java Line 2176行
responder = new Responder();
仔细看这个类,它作用是启动一个线程,从reponseQueue中一个个处理要返回给客户端的数据,有些数据可能比较大,一次无法完全返回,则将剩下的数据重新加入队列等待下一次返回。
再进入Server.start()方法看看:
简单明了。 Responder就是刚刚创建的用于返回数据给客户端的线程,启动它。
Listener是什么?
继续看代码,用了JAVA NIO, 它是负责监听客户端连接请求的,它内部又有
private Reader[] readers = null;
每个Reader是一个线程,负责读取连接请求发来的数据,也用了NIO。
那它把数据读来放哪?
processRpcRequest()跟踪到这个方法,发现它把读取完成的数据创建到一个新的Call对象,然后放入callQueue
那什么时候处理呢?
别急,上上图还有个Handler还没看呢。
它也是个线程,启动了N个。一直在循环处理callQueue中的call,如果队列中没call就block waiting。
读到Call后,依然是调用call方法,一层层进去看,最后还是回到了WritableRpcEngine.call() Line 417行,
Object value = method.invoke(protocolImpl.protocolImpl, call.getParameters());
得到结果后,就开始返回给Client了,如果没发一次性全部返回,剩下部分就交给Reponder线程去完成。
至此,整体流程全部完成。 我们来个全家福。