RPC原理加手写源码

最新推荐文章于 2023-06-29 16:42:09 发布

a_higher

最新推荐文章于 2023-06-29 16:42:09 发布

阅读量150

点赞数

分类专栏：转载 IO

原文链接：https://juejin.im/post/6844903764445364232

版权

转载同时被 2 个专栏收录

20 篇文章 1 订阅

订阅专栏

6 篇文章 0 订阅

订阅专栏

徒手撸一个简单的RPC框架

Java RMI 和 RPC 的区别（转载这篇）

RPC 远程过程调用

RPC（Remote Procedure Call Protocol）远程过程调用协议，通过网络从远程计算机上请求调用某种服务。一次RPC调用的过程大概有10步：

1.执行客户端调用语句，传送参数

2.调用本地系统发送网络消息

3.消息传送到远程主机

4.服务器得到消息并取得参数

5.根据调用请求以及参数执行远程过程（服务）

6.执行过程完毕，将结果返回服务器句柄

7.服务器句柄返回结果，调用远程主机的系统网络服务发送结果

8.消息传回本地主机

9.客户端句柄由本地主机的网络服务接收消息

10.客户端接收到调用语句返回的结果数据

RMI 远程方法调用

RMI:远程方法调用(Remote Method Invocation)。能够让在客户端Java虚拟机上的对象像调用本地对象一样调用服务端java 虚拟机中的对象上的方法。点击这里查看Dubbo架构详解。

RMI远程调用步骤：

1，客户调用客户端辅助对象stub上的方法

2，客户端辅助对象stub打包调用信息（变量，方法名），通过网络发送给服务端辅助对象skeleton

3，服务端辅助对象skeleton将客户端辅助对象发送来的信息解包，找出真正被调用的方法以及该方法所在对象

4，调用真正服务对象上的真正方法，并将结果返回给服务端辅助对象skeleton

5，服务端辅助对象将结果打包，发送给客户端辅助对象stub

6，客户端辅助对象将返回值解包，返回给调用者

7，客户获得返回值

RPC 与 RMI 的区别

1：方法调用方式不同

RMI中是通过在客户端的Stub对象作为远程接口进行远程方法的调用。每个远程方法都具有方法签名。如果一个方法在服务器上执行，但是没有相匹配的签名被添加到这个远程接口(stub)上，那么这个新方法就不能被RMI客户方所调用。点击这里查看Dubbo架构详解。

RPC中是通过网络服务协议向远程主机发送请求，请求包含了一个参数集和一个文本值，通常形成“classname.methodname(参数集)”的形式。RPC远程主机就去搜索与之相匹配的类和方法，找到后就执行方法并把结果编码，通过网络协议发回。

2：适用语言范围不同

RMI只用于Java；

RPC是网络服务协议，与操作系统和语言无关。

3：调用结果的返回形式不同

Java是面向对象的，所以RMI的调用结果可以是对象类型或者基本数据类型；

RMI的结果统一由外部数据表示 (External Data Representation, XDR) 语言表示，这种语言抽象了字节序类和数据类型结构之间的差异。

实现原理（转载这篇2）

1.RPC

RPC（Remote Procedure Call）–远程过程调用，通过网络通信调用不同的服务，共同支撑一个软件系统，微服务实现的基石技术。

使用RPC可以解耦系统，方便维护，同时增加系统处理请求的能力。

2. RPC框架的原理解析

最近自己写了一个简单的RPC框架KRPC，本文原理分析结合中代码，均为该框架源码，RPC与RMI的区别看这篇文章《Java RMI 和 RPC 的区别》。

2.1 流程纵览

如上图所示，我将一个RPC调用流程概括为上图中5个流程，左边3个为客户端流程，右边两个为服务端流程。

下面就各流程进行解析

2.2 客户端调用

服务调用方在调用服务时，一般进行相关初始化，通过配置文件/配置中心获取服务端地址用户调用。

// 用户服务接口
public interface UserService {    
　public User genericUser(Integer id,String name,Long phone);
}

//调用方
//服务初始化
KRPC.init("D:\\krpc\\service\\demo\\conf\\client.xml");
UserService service = ProxyFactory.create(UserService.class, "demo","demoService");
User user = service.genericUser(1, "yasin", 1888888888L);

一开始接触RPC调用方法肯定就有疑惑，它不是一个接口吗，直接调用应该没啥效果啊，我也没有引入实现包。

带着这个疑惑，我们就进入下一个知识点，动态代理。

2.3 动态代理

上面我们不说道直接调用一个接口中的方法，并且没有用该接口的实现类调用，那么方法是怎么生效的呢？

可以看到这个用户服务这个service是由ProxyFactory代理工程创造的，在该ProxyFactory#create()方法中就跟一个代理处理器绑定在一起了。

@Override
public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {

    //构造请求request
    Request request = new Request();
    ....

    return RequestHandler.request(serviceName, request,returnClass);
}

这个类实现了InvocationHandler接口（JDK提供的动态代理技术），每次去调用接口方法，最终都交由该handler进行处理。

这个环节一般会获取方法的一些信息，例如方法名，方法参数类型，方法参数值，返回对象类型。

同时这个环节会提供序列化功能，一般的RPC网络传输使用TCP（哪怕使用HTTP）传输，这里也要将这些参数进行封装成我们定义的数据接口进行传输。

2.4 网络传输

我们通过将方法参数进行处理后，就要使用发起网络请求，使用tcp传输的就利用socket通信进行传输，这一块我开源项目中使用的同步堵塞的方案进行请求，也可以使用一些非堵塞方案进行请求，效率会更高一些。

2.5 服务端数据接受

这一块使用netty，可以快速一个高性能、高可靠的一个服务端。

public class ServerHandler extends ChannelInboundHandlerAdapter {

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        ByteBuf buf = (ByteBuf)msg;  
        byte[] bytes = new byte[buf.readableBytes()];  
        buf.readBytes(bytes);  

        byte[] responseBytes = RequestHandler.handler(bytes);
        ByteBuf resbuf = ctx.alloc().buffer(responseBytes.length);
        resbuf.writeBytes(responseBytes);
        ctx.writeAndFlush(resbuf);

    }    

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        cause.printStackTrace();
        ctx.close();
    }
}

上面代码是我项目中使用的服务端代码。关于netty网上学习的资料很多，这里也只是宏观的讲解RPC原理，就不展开。

2.6 真实调用

服务端获取客户端请求的数据后，调用请求中的方法，方法参数值，通过反射调用真实的方法，获取其返回值，将其序列化封装，通过netty进行数据返回，客户端在接受数据并解析，这就完成了一次rpc请求调用的全过程。

method = clazz.getMethod(request.getMethodName(),requestParamTypes);
method.setAccessible(true);
result = method.invoke(service, requestParmsValues)

上面代码片段为通过反射调用真实方法

2.7 服务端的动态加载

通过2.2到2.6的说明，一次RPC请求过程大致如此，但是一个RPC框架会有很多细节需要处理。

其实在一次请求调用前，服务端肯定要先启动。

服务端作为一个容器，跟我们熟知的tomcat一样，它可以动态的加载任何项目。所以在服务端启动的时候，必须要进行一个动态加载的过程。

在KRPC中，我使用了URLClassLoader动态加载一个指定路径的jar包，任何业务服务的实现所依赖的jar包都可以放入该路径中。

3. 总结

一个RPC框架大致需要动态代理、序列化、网络请求、网络请求接受(netty实现)、动态加载、反射这些知识点。

现在开源及各公司自己造的RPC框架层出不穷，唯有掌握原理是一劳永逸的。

掌握原理最好的方法莫不是阅读源码，自己动手写是最快的。

徒手撸一个简单的RPC框架（转载这篇3）

传参出参分析

一个简单请求可以抽象为两步

那么就根据这两步进行分析，在请求之前我们应该发送给服务端什么信息？而服务端处理完以后应该返回客户端什么信息？

在请求之前我们应该发送给服务端什么信息？

由于我们在客户端调用的是服务端提供的接口，所以我们需要将客户端调用的信息传输过去，那么我们可以将要传输的信息分为两类

第一类是服务端可以根据这个信息找到相应的接口实现类和方法
第二类是调用此方法传输的参数信息

那么我们就根据要传输的两类信息进行分析，什么信息能够找到相应的实现类的相应的方法？要找到方法必须要先找到类，这里我们可以简单的用Spring提供的Bean实例管理ApplicationContext进行类的寻找。所以要找到类的实例只需要知道此类的名字就行，找到了类的实例，那么如何找到方法呢？在反射中通过反射能够根据方法名和参数类型从而找到这个方法。那么此时第一类的信息我们就明了了，那么就建立相应的是实体类存储这些信息。

@Data
public class Request implements Serializable {
    private static final long serialVersionUID = 3933918042687238629L;
    private String className;
    private String methodName;
    private Class<?> [] parameTypes;
    private Object [] parameters;
}
复制代码

服务端处理完以后应该返回客户端什么信息？

上面我们分析了客户端应该传输什么信息给服务端，那么服务端处理完以后应该传什么样的返回值呢？这里我们只考虑最简单的情况，客户端请求的线程也会一直在等着，不会有异步处理这一说，所以这么分析的话就简单了，直接将得到的处理结果返回就行了。

@Data
public class Response implements Serializable {
    private static final long serialVersionUID = -2393333111247658778L;
    private Object result;
}
复制代码

由于都涉及到了网络传输，所以都要实现序列化的接口

如何获得传参信息并执行？-客户端

上面我们分析了客户端向服务端发送的信息都有哪些？那么我们如何获得这些信息呢？首先我们调用的是接口，所以我们需要写自定义注解然后在程序启动的时候将这些信息加载在Spring容器中。有了这些信息那么我们就需要传输了，调用接口但是实际上执行的确实网络传输的过程，所以我们需要动态代理。那么就可以分为以下两步

初始化信息阶段：将key为接口名，value为动态接口类注册进Spring容器中
执行阶段：通过动态代理，实际执行网络传输

初始化信息阶段

由于我们使用Spring作为Bean的管理，所以要将接口和对应的代理类注册进Spring容器中。而我们如何找到我们想要调用的接口类呢？我们可以自定义注解进行扫描。将想要调用的接口全部注册进容器中。

创建一个注解类，用于标注哪些接口是可以进行Rpc的

@Target({ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface RpcClient {
}

复制代码

然后创建对于@RpcClient注解的扫描类RpcInitConfig，将其注册进Spring容器中

public class RpcInitConfig implements ImportBeanDefinitionRegistrar{
    
    @Override
    public void registerBeanDefinitions(AnnotationMetadata importingClassMetadata, BeanDefinitionRegistry registry) {
        ClassPathScanningCandidateComponentProvider provider = getScanner();
        //设置扫描器
        provider.addIncludeFilter(new AnnotationTypeFilter(RpcClient.class));
        //扫描此包下的所有带有@RpcClient的注解的类
        Set<BeanDefinition> beanDefinitionSet = provider.findCandidateComponents("com.example.rpcclient.client");
        for (BeanDefinition beanDefinition : beanDefinitionSet){
            if (beanDefinition instanceof AnnotatedBeanDefinition){
                //获得注解上的参数信息
                AnnotatedBeanDefinition annotatedBeanDefinition = (AnnotatedBeanDefinition) beanDefinition;
                String beanClassAllName = beanDefinition.getBeanClassName();
                Map<String, Object> paraMap = annotatedBeanDefinition.getMetadata()
                        .getAnnotationAttributes(RpcClient.class.getCanonicalName());
                //将RpcClient的工厂类注册进去
                BeanDefinitionBuilder builder = BeanDefinitionBuilder
                        .genericBeanDefinition(RpcClinetFactoryBean.class);
                //设置RpcClinetFactoryBean工厂类中的构造函数的值
                builder.addConstructorArgValue(beanClassAllName);
                builder.getBeanDefinition().setAutowireMode(AbstractBeanDefinition.AUTOWIRE_BY_TYPE);
                //将其注册进容器中
                registry.registerBeanDefinition(
                        beanClassAllName ,
                        builder.getBeanDefinition());
            }
        }
    }
    //允许Spring扫描接口上的注解
    protected ClassPathScanningCandidateComponentProvider getScanner() {
        return new ClassPathScanningCandidateComponentProvider(false) {
            @Override
            protected boolean isCandidateComponent(AnnotatedBeanDefinition beanDefinition) {
                return beanDefinition.getMetadata().isInterface() && beanDefinition.getMetadata().isIndependent();
            }
        };
    }
}
复制代码

由于上面注册的是工厂类，所以我们建立一个工厂类RpcClinetFactoryBean继承Spring中的FactoryBean类，由其统一创建@RpcClient注解的代理类

如果对FactoryBean类不了解的可以参见FactoryBean讲解

@Data
public class RpcClinetFactoryBean implements FactoryBean {

    @Autowired
    private RpcDynamicPro rpcDynamicPro;

    private Class<?> classType;


    public RpcClinetFactoryBean(Class<?> classType) {
        this.classType = classType;
    }

    @Override
    public Object getObject(){
        ClassLoader classLoader = classType.getClassLoader();
        Object object = Proxy.newProxyInstance(classLoader,new Class<?>[]{classType},rpcDynamicPro);
        return object;
    }

    @Override
    public Class<?> getObjectType() {
        return this.classType;
    }

    @Override
    public boolean isSingleton() {
        return false;
    }
}

复制代码

注意此处的getObjectType方法，在将工厂类注入到容器中的时候，这个方法返回的是什么Class类型那么注册进容器中就是什么Class类型。

然后看一下我们创建的代理类rpcDynamicPro

@Component
@Slf4j
public class RpcDynamicPro implements InvocationHandler {

    @Override
    public Object invoke(Object proxy, Method method, Object[] args) throws Throwable {
       String requestJson = objectToJson(method,args);
        Socket client = new Socket("127.0.0.1", 20006);
        client.setSoTimeout(10000);
        //获取Socket的输出流，用来发送数据到服务端
        PrintStream out = new PrintStream(client.getOutputStream());
        //获取Socket的输入流，用来接收从服务端发送过来的数据
        BufferedReader buf =  new BufferedReader(new InputStreamReader(client.getInputStream()));
        //发送数据到服务端
        out.println(requestJson);
        Response response = new Response();
        Gson gson =new Gson();
        try{
            //从服务器端接收数据有个时间限制（系统自设，也可以自己设置），超过了这个时间，便会抛出该异常
            String responsJson = buf.readLine();
            response = gson.fromJson(responsJson, Response.class);
        }catch(SocketTimeoutException e){
            log.info("Time out, No response");
        }
        if(client != null){
            //如果构造函数建立起了连接，则关闭套接字，如果没有建立起连接，自然不用关闭
            client.close(); //只关闭socket，其关联的输入输出流也会被关闭
        }
        return response.getResult();
    }

    public String objectToJson(Method method,Object [] args){
        Request request = new Request();
        String methodName = method.getName();
        Class<?>[] parameterTypes = method.getParameterTypes();
        String className = method.getDeclaringClass().getName();
        request.setMethodName(methodName);
        request.setParameTypes(parameterTypes);
        request.setParameters(args);
        request.setClassName(getClassName(className));
        GsonBuilder gsonBuilder = new GsonBuilder();
        gsonBuilder.registerTypeAdapterFactory(new ClassTypeAdapterFactory());
        Gson gson = gsonBuilder.create();
        return gson.toJson(request);
    }

    private String getClassName(String beanClassName){
        String className = beanClassName.substring(beanClassName.lastIndexOf(".")+1);
        className = className.substring(0,1).toLowerCase() + className.substring(1);
        return className;
    }
}


复制代码

我们的客户端已经写完了，传给服务端的信息我们也已经拼装完毕了。剩下的工作就简单了，开始编写服务端的代码。

服务端处理完以后应该返回客户端什么信息？-服务端

服务端的代码相比较客户端来说要简单一些。可以简单分为下面三步

拿到接口名以后，通过接口名找到实现类
通过反射进行对应方法的执行
返回执行完的信息

那么我们就根据这三步进行编写代码

拿到接口名以后，通过接口名找到实现类

如何通过接口名拿到对应接口的实现类呢？这就需要我们在服务端启动的时候将其对应信息加载进去

@Component
@Log4j
public class InitRpcConfig implements CommandLineRunner {
    @Autowired
    private ApplicationContext applicationContext;

    public static Map<String,Object> rpcServiceMap = new HashMap<>();

    @Override
    public void run(String... args) throws Exception {
        Map<String, Object> beansWithAnnotation = applicationContext.getBeansWithAnnotation(Service.class);
        for (Object bean: beansWithAnnotation.values()){
            Class<?> clazz = bean.getClass();
            Class<?>[] interfaces = clazz.getInterfaces();
            for (Class<?> inter : interfaces){
                rpcServiceMap.put(getClassName(inter.getName()),bean);
                log.info("已经加载的服务:"+inter.getName());
            }
        }
    }

    private String getClassName(String beanClassName){
        String className = beanClassName.substring(beanClassName.lastIndexOf(".")+1);
        className = className.substring(0,1).toLowerCase() + className.substring(1);
        return className;
    }
}

复制代码

此时rpcServiceMap存储的就是接口名和其对应的实现类的对应关系。

通过反射进行对应方法的执行

此时拿到了对应关系以后就能根据客户端传过来的信息找到相应的实现类中的方法。然后进行执行并返回信息就行

public Response invokeMethod(Request request){
        String className = request.getClassName();
        String methodName = request.getMethodName();
        Object[] parameters = request.getParameters();
        Class<?>[] parameTypes = request.getParameTypes();
        Object o = InitRpcConfig.rpcServiceMap.get(className);
        Response response = new Response();
        try {
            Method method = o.getClass().getDeclaredMethod(methodName, parameTypes);
            Object invokeMethod = method.invoke(o, parameters);
            response.setResult(invokeMethod);
        } catch (NoSuchMethodException e) {
            log.info("没有找到"+methodName);
        } catch (IllegalAccessException e) {
            log.info("执行错误"+parameters);
        } catch (InvocationTargetException e) {
            log.info("执行错误"+parameters);
        }
        return response;
    }
复制代码

现在我们两个服务都启动起来并且在客户端进行调用就发现只是调用接口就能调用过来了。

总结

到现在一个简单的RPC就完成了，但是其中还有很多的功能需要完善，例如一个完整RPC框架肯定还需要服务注册与发现，而且双方通信肯定也不能是直接开启一个线程一直在等着，肯定需要是异步的等等的各种功能。后面随着学习的深入，这个框架也会慢慢增加一些东西。不仅是对所学知识的一个应用，更是一个总结。有时候学一个东西学起来觉得很简单，但是真正应用的时候就会发现各种各样的小问题。比如在写这个例子的时候碰到一个问题就是@Autowired的时候一直找不到SendMessage的类型，最后才发现是工厂类RpcClinetFactoryBean中的getObjectType中的返回类型写错了，我之前写的是

    public Class<?> getObjectType() {
        return this.getClass();;
    }

复制代码

这样的话注册进容器的就是RpcClinetFactoryBean类型的而不是SendMessage的类型。

完整项目源码

a_higher

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
RPC原理加手写源码

徒手撸一个简单的RPC框架Java RMI 和 RPC 的区别（转载这篇）RPC 远程过程调用RPC（Remote Procedure Call Protocol）远程过程调用协议，通过网络从远程计算机上请求调用某种服务。一次RPC调用的过程大概有10步：1.执行客户端调用语句，传送参数2.调用本地系统发送网络消息3.消息传送到远程主机4.服务器得到消息并取得参数5.根据调用请求以及参数执行远程过程（服务）6.执行过程完毕，将结果返回服务器句柄7.服务器句柄返回结果.
复制链接

扫一扫