java自定义实现rpc+hadoop对rpc的实现

最新推荐文章于 2023-03-13 22:30:07 发布

wonderful_life_mrchi

最新推荐文章于 2023-03-13 22:30:07 发布

阅读量814

点赞数

分类专栏： JavaEE框架文章标签： clientserver hadoop rpc

本文链接：https://blog.csdn.net/wonderful_life_mrchi/article/details/77356401

版权

JavaEE框架专栏收录该内容

8 篇文章 0 订阅

订阅专栏

1、RPC的基本模型

RPC的基本通信模型是基于Client/Server进程间相互通信模型的一种同步通信形式；它对Client提供了远程服务的过程抽象，其底层消息传递操作对Client是透明的。在RPC中，Client即是请求服务的调用者(Caller)，而Server则是执行Client的请求而被调用的程序 (Callee)。

2、自定义RPC实现

下面主要是通过socket来模拟rpc的客户端和服务器端通信。而socket是典型网络通信模型，同步的（这里不提NIO）。我们定义一个server端，首先定义服务实现类HelloServiceImp，一个普通类而已，对外提供可以访问的方法即可。然后开启serversocket，等待客户端发送消息。客户端发送的消息内容：服务方法名称+参数列表和实参值。服务器据此调用本地该方法得到返回值并发送到客户端即完成一次rpc通讯，是不是超级简单呢？

接下来具体代码实现（此处参照了网上一位同仁的实例）：

首先是框架的代码

[java]view plaincopy 
   
 package framework;  
   
 import java.io.ObjectInputStream;  
 import java.io.ObjectOutputStream;  
 import java.lang.reflect.InvocationHandler;  
 import java.lang.reflect.Method;  
 import java.lang.reflect.Proxy;  
 import java.net.ServerSocket;  
 import java.net.Socket;  
   
 /** 
  * RpcFramework 
  *  
  * @author william.liangf 
  */  
 public class RpcFramework {  
   
     /** 
      * 暴露服务 
      *  
      * @param service 服务实现 
      * @param port 服务端口 
      * @throws Exception 
      */  
     public static void export(final Object service, int port) throws Exception {  
         if (service == null)  
             throw new IllegalArgumentException("service instance == null");  
         if (port <= 0 || port > 65535)  
             throw new IllegalArgumentException("Invalid port " + port);  
         System.out.println("Export service " + service.getClass().getName() + " on port " + port);  
         ServerSocket server = new ServerSocket(port);  
         for(;;) {  
             try {  
                 final Socket socket = server.accept();//服务器端一旦收到消息，就创建一个线程进行处理  
                 new Thread(new Runnable() {  
                     @Override  
                     public void run() {  
                         try {  
                             try {  
                                 ObjectInputStream input = new ObjectInputStream(socket.getInputStream());  
                                 try {  
                                     String methodName = input.readUTF();//service是服务器端提供服务的对象，但是，要通过获取到的调用方法的名称，参数类型，以及参数来选择对象的方法，并调用。获得方法的名称  
                                     Class<?>[] parameterTypes = (Class<?>[])input.readObject();//获得参数的类型  
                                     Object[] arguments = (Object[])input.readObject();//获得参数  
                                     ObjectOutputStream output = new ObjectOutputStream(socket.getOutputStream());  
                                     try {  
                                         Method method = service.getClass().getMethod(methodName, parameterTypes);//通过反射机制获得方法  
                                         Object result = method.invoke(service, arguments);//通过反射机制获得类的方法，并调用这个方法  
                                         output.writeObject(result);//将结果发送  
                                     } catch (Throwable t) {  
                                         output.writeObject(t);  
                                     } finally {  
                                         output.close();  
                                     }  
                                 } finally {  
                                     input.close();  
                                 }  
                             } finally {  
                                 socket.close();  
                             }  
                         } catch (Exception e) {  
                             e.printStackTrace();  
                         }  
                     }  
                 }).start();  
             } catch (Exception e) {  
                 e.printStackTrace();  
             }  
         }  
     }  
   
     /** 
      * 引用服务 
      *  
      * @param <T> 接口泛型 
      * @param interfaceClass 接口类型 
      * @param host 服务器主机名 
      * @param port 服务器端口 
      * @return 远程服务 
      * @throws Exception 
      *///原理是通过代理，获得服务器端接口的一个“代理”的对象。对这个对象的所有操作都会调用invoke函数，在invoke函数中，是将被调用的函数名，参数列表和参数发送到服务器，并接收服务器处理的结果  
     @SuppressWarnings("unchecked")  
     public static <T> T refer(final Class<T> interfaceClass, final String host, final int port) throws Exception {  
         if (interfaceClass == null)  
             throw new IllegalArgumentException("Interface class == null");  
         if (! interfaceClass.isInterface())  
             throw new IllegalArgumentException("The " + interfaceClass.getName() + " must be interface class!");  
         if (host == null || host.length() == 0)  
             throw new IllegalArgumentException("Host == null!");  
         if (port <= 0 || port > 65535)  
             throw new IllegalArgumentException("Invalid port " + port);  
         System.out.println("Get remote service " + interfaceClass.getName() + " from server " + host + ":" + port);  
         return (T) Proxy.newProxyInstance(interfaceClass.getClassLoader(), new Class<?>[] {interfaceClass}, new InvocationHandler() {  
             public Object invoke(Object proxy, Method method, Object[] arguments) throws Throwable {  
                 Socket socket = new Socket(host, port);  
                 try {  
                     ObjectOutputStream output = new ObjectOutputStream(socket.getOutputStream());  
                     try {  
                         output.writeUTF(method.getName());  
                         output.writeObject(method.getParameterTypes());  
                         output.writeObject(arguments);  
                         ObjectInputStream input = new ObjectInputStream(socket.getInputStream());  
                         try {  
                             Object result = input.readObject();  
                             if (result instanceof Throwable) {  
                                 throw (Throwable) result;  
                             }  
                             return result;  
                         } finally {  
                             input.close();  
                         }  
                     } finally {  
                         output.close();  
                     }  
                 } finally {  
                     socket.close();  
                 }  
             }  
         });  
     }  
   
 }  

服务接口

[java]view plaincopy 
   
 package user;  
   
 public interface  HelloService {  
     String hello(String name);  
 }  

实现服务

[java]view plaincopy 
   
 package user;  
   
 public class HelloServiceImpl implements HelloService{  
     public String hello(String name) {  
         return "Hello " + name;  
     }  
   
 }  

服务器

[java]view plaincopy 
   
 package user;  
 import framework.RpcFramework;  
   
 public class Server {  
     public static void main(String []args) throws Exception {  
         HelloService service = new HelloServiceImpl();  
         RpcFramework.export(service, 1234);   
     }  
 }  

客户机

[java]view plaincopy 
   
 package user;  
 import framework.RpcFramework;  
   
 public class Client {  
     public static void main(String[] args) throws Exception {    
         HelloService service = RpcFramework.refer(HelloService.class, "127.0.0.1", 1234);    
         for (int i = 0; i < Integer.MAX_VALUE; i ++) {    
             String hello = service.hello("World" + i);    
             System.out.println(hello);    
             Thread.sleep(1000);    
         }    
     }    
 }  

3、hadoop中的rpc

大名鼎鼎的hadoop中的hdfs机制就大量采用了rpc。其中hadoop中namenode和datanode节点分布在不同的服务器中，通信基本采取rpc。

hadoop1.x版本中的namenode和secondaryNamenode通信亦是如此。hadoop2.x之后采用了HA机制，信息存储在journalnode节点上，而主备服务器节点通过zookeeper完成故障出现时候的切换。

具体代码实现如下：

一：服务端RPCServer

public class RPCServer {

	public static void main(String[] args) throws HadoopIllegalArgumentException, IOException {
		// TODO Auto-generated method stub
      Builder builder=new RPC.Builder(new Configuration());
      builder.setBindAddress("localhost").setPort(8888).setProtocol(LoginServiceInterface.class)
      .setInstance(new LoginServiceImp());
       Server server = builder.build();
       server.start();
	}

}

二：客户端

public static void main(String[] args) throws Exception {
		LoginServiceInterface proxy = RPC.getProxy(LoginServiceInterface.class, 1L, new InetSocketAddress("localhost", 8888), new Configuration());
		
		String result = proxy.login("mijie", "123456");
		
		System.out.println(result);
	}

LoginServiceInterface就是一个普通服务接口，LoginserviceImp就是实现类，定义一个login方法即可，实现类代码如下：

public class LoginServiceImp implements LoginServiceInterface {

	@Override
	public String login(String username, String password) {
		// TODO Auto-generated method stub
		return username+",hello";
	}

}

wonderful_life_mrchi

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
java自定义实现rpc+hadoop对rpc的实现

1、RPC的基本模型RPC的基本通信模型是基于Client/Server进程间相互通信模型的一种同步通信形式；它对Client提供了远程服务的过程抽象，其底层消息传递操作对Client是透明的。在RPC中，Client即是请求服务的调用者(Caller)，而Server则是执行Client的请求而被调用的程序 (Callee)。2、自定义RPC实现下面主要是通过socket来模拟rpc
复制链接

扫一扫