以JobClient向JobTracker提交作业为例:
JobClient远程调用JobTracker的submitJob方法;
//JobClient.java
public RunningJob submitJob(JobConf job) throws FileNotFoundException, InvalidJobConfException, IOException {
//...
// Now, actually submit the job (using the submit name)
//
JobStatus status = jobSubmitClient.submitJob(jobId);
//...
}
其实jobSubmitClient是通过java.lang.reflect.Proxy动态代理产生的JobSubmissionProtocol接口的实例实现的
关于Proxy参见利用JAVA的动态属性之反射原理实现一个简单AOP容器 - AOP的实现原理分析
Java动态代理功能
首先,我们简单介绍一下Java动态代理功能。JAVA的动态代理功能主要通过java.lang.reflect.Proxy类与java.lang.reflect.InvocationHandler接口完成,这里正是通过它们实现一个简单的AOP容器的。其实,像JBoss AOP等其他动态AOP框架也都是通过Proxy和InvocationHandler来实现的。
首先,我们简单介绍一下Java动态代理功能。JAVA的动态代理功能主要通过java.lang.reflect.Proxy类与java.lang.reflect.InvocationHandler接口完成,这里正是通过它们实现一个简单的AOP容器的。其实,像JBoss AOP等其他动态AOP框架也都是通过Proxy和InvocationHandler来实现的。
这个实例的submitJob方法会调用RPC.Invoker的invoke方法,然后RPC的client会调用call方法要远程调用的方法名和参数发送到RPC服务器。
在RPC服务器端,绑定了JobTracker
//JobTracker.java
JobTracker(JobConf conf) throws IOException, InterruptedException {
//...........
this.interTrackerServer = RPC.getServer(this, addr.getHostName(), addr.getPort(), handlerCount, false, conf);
this.interTrackerServer.start();
//..............
}
Server内置的Listener(线程)处理Connection队列,调用Connetion处理数据生成Call并加入callQueue队列,Handler(线程)处理Call队列,并调用RPC.Server的call方法返回结果