RPC 是构建 hadoop 体系结构的基石。
RPC(Remote Procedure Call Protocol)——远程过程调用协议。所谓远程过程调用,也即是远程调用过程,它是一种通过网络从远程计算机程序上请求服务(某一过程),而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。
RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。
远程指不在同一个进程。Java 中通过调用 main 方法产生进程。远程过程调用意味着对另一个 main 方法(另一个 Java 进程)中的程序进行调用。
远程过程调用至少需要两个过程(也即两个 Java 进程)。
- (1)调用方(client),主动发起请求,调用(指定ip和端口port)server中的方法
- (2)被调用方(server),把调用结果返回给客户端。
RPC 服务器 与 http 服务器
经典的 RPC 服务器包括:hadoop 集群结构的:
- NameNode、SecondaryNameNode、DataNode
- JobTracker、TaskTracker
职责介绍:
- (1)HTTP 服务器提供的是资源文件,需要存储空间足够大
- (2)RPC 服务器提供的是计算过程的返回值,需要计算能力足够强
RPC 再次明晰了客户端和服务器的职责。
RPC 机制的模拟
(0)MyBiz、MyBizable
package rpc; import java.io.IOException; import org.apache.hadoop.ipc.VersionedProtocol; public interface MyBizable extends VersionedProtocol{ long VERSION = 12345L; public abstract String hello(String name); }
package rpc; import java.io.IOException; import org.apache.hadoop.ipc.VersionedProtocol; public class MyBiz implements MyBizable { @Override public String hello(String name){ System.out.println("我被调用了,猜猜看我会出现在哪一边?"); return "hello " + name; } @Override public long getProtocolVersion(String protocol, long clientVersion) throws IOException { return VERSION; } }
(1)MyServer
package rpc; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; import org.apache.hadoop.ipc.RPC.Server; public class MyServer { static final String ADDR = "localhost"; static final int PORT = 12345; public static void main(String[] args) throws Exception { Server server = RPC.getServer(new MyBiz(), ADDR, PORT, new Configuration()); // 在指定的ip,指定的端口进行监听 server.start(); } }
(2)MyClient
package rpc; import java.io.IOException; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.ipc.RPC; import org.apache.hadoop.ipc.VersionedProtocol; public class MyClient { public static void main(String[] args) throws Exception { MyBizable proxy = (MyBizable)RPC.waitForProxy(MyBizable.class, MyBizable.VERSION, new InetSocketAddress(MyServer.ADDR, MyServer.PORT), new Configuration()); System.out.println("客户端结果:"+proxy.hello("zch")); // 关闭网络连接 RPC.stopProxy(proxy); } }
注:
(1)客户端获得的代理对象 proxy,调用其
hello()
成员函数,是在客户端还是在服务器端执行的呢?这正是RPC(远程调用的精髓所在)。如果是以远程调用的方式执行对象的方法,则应是在服务器端执行,将结果返回给客户端。
(2)客户端调用服务器端的方法,意味着调用服务器端的对象中的方法
(3)如果服务器端的对象允许客户端调用,那么这个对象必须实现接口
(4)如果客户端能够调用服务器端对象的方法,那么这些方法一定位于对象的接口中。因为客户端只能获得接口(waitForProxy())
(5)在命令行界面,输入
jps
(查看 java 进程),会看到服务器端的 java 进程名;