因为hadoop实现的集群之间的数据是通过网络来进行传输的,hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc)。这里对RPC做一个浅显的学习总结
RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。
RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务进程,然后等待应答信息。在服务器端,进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达,服务器获得进程参数,计算结果,发送答复信息,然后等待下一个调用信息,最后,客户端调用进程接收答复信息,获得进程结果,然后调用执行继续进行。
代码实现
1.调用接口
public interface MyBizable extends VersionedProtocol{
long VERSION = 2345245L;
public abstract String hello(String name);
}
2.被调用对象
public class MyBiz implements MyBizable{
/* (non-Javadoc)
* @see rpc.MyBizable#hello(java.lang.String)
*/
@Override
public String hello(String name){
System.out.println("我被调用了");
return "hello "+name;
}
/* (non-Javadoc)
* @see rpc.MyBizable#getProtocolVersion(java.lang.String, long)
*/
@Override
public long getProtocolVersion(String arg0, long arg1) throws IOException {
return VERSION;
}
}
3.服务器
public class MyServer {
static final String ADDRESS = "localhost";
static final int PORT = 12345;
public static void main(String[] args)throws Exception {
/**
* 构造一个RPC的服务端.
* @param instance 这个实例中的方法会被调用
* @param bindAddress 绑定的地址是用于监听连接的
* @param port 绑定的端口是用于监听连接的
* @param conf the configuration to use
*/
final Server server = RPC.getServer(new MyBiz(), ADDRESS, PORT, new Configuration());
server.start();
}
}
4.客户端
public class MyClient {
public static void main(String[] args) throws Exception{
/**
* 构造一个客户端代理对象,该代理对象实现了命名的协议。代理对象会与指定地址的服务端通话
*/
MyBizable proxy = (MyBizable)RPC.waitForProxy(
MyBizable.class,
MyBizable.VERSION,
new InetSocketAddress(MyServer.ADDRESS, MyServer.PORT),
new Configuration());
final String result = proxy.hello("world");//可以调用接口中的所有方法
System.out.println("客户端结果:"+result);
//关闭网络连接
RPC.stopProxy(proxy);
}
}