实现一个迷你版的RPC

最新推荐文章于 2024-04-02 10:00:58 发布
最新推荐文章于 2024-04-02 10:00:58 发布
阅读量214 收藏 1
点赞数
分类专栏： Java高级 文章标签： rpc原理 徒手写rpc rpc框架

前言

在实际后台服务开发中，比如订单服务（开发者A负责）需要调用商品服务（开发者B负责），那么开发者B会和A约定调用API，以接口的形式提供给A。通常都是B把API上传到Maven私服，然后B开始写API的实现，A只需要引入API依赖进行开发即可。

订单服务调用商品服务

上图简单的描述了RPC在实际场景中的应用，我们在开发中当然是利用现有的RPC框架来快速实现业务需求，比如百度开源了baidu-rpc，阿里的Dubbo早已声名在外，腾讯自己玩TAF。本篇博客将实现一个迷你版的RPC，探索下RPC底层实现的奥秘！

 

动手实现RPC

商品服务工程

商品服务工程

注意，我将商品服务的API以及实现分为Maven的2个模块来开发。这里，我们想给定一个商品ID，查询得到商品对象信息。

商品对象

商品API

Product

要注意的是，Product是可以被序列化的，Why?

很显然，订单系统调用商品系统的时候，需要商品系统返回一个商品，必然涉及到发生网络传输，这就涉及对象的序列化和反序列化了。

商品查询API接口

商品查询API

订单系统调用商品服务

订单服务调用商品服务

在订单系统工程中需要引入商品服务API依赖。

在上图代码中，最重要的就是rpc方法了！

rpc实现方法

rpc

第一，我们看到了Proxy.newProxyInstance，很显然在进行动态代理。也即是说，在订单服务调用商品服务的代码中，我们先是通过动态代理返回一个代理的IProductService类型对象，这意味着当代理对象调用queryById方法的时候，会自动调用invoke方法！

第二，我们看看invoke到底做了些什么？

它本质上就是进行Socket通信，那么它需要传递什么信息给到商品服务呢？

我们知道订单系统就是想调用商品服务的某个类的某个方法，然后把这个方法的返回结果传输给订单系统！

想一想，如何调用某个类的某个方法呢？

只要我们能确定这个类的全限定类名、确定方法名、确定方法的参数类型，给定方法需要的具体参数，通过反射就能实现。

商品服务调用后得到的结果，我们序列化写入Socket流中，在订单系统中反序列化得到对象即可。

第三，这里需要思考一个问题：在订单系统中我们只知道商品服务的API，并不知道这背后的API到底是如何实现的，所以我们需要有一个映射，就是商品服务的API到商品服务的实现的一个映射关系，其实这就是所谓的服务的注册！

商品API的具体实现

商品服务

 

商品服务API实现

商品服务

商品服务

从这里，可以清晰的看到，商品服务读取了订单系统调用商品系统时发送的数据，利用反射机制，进行方法调用，并把调用结果写入Socket输出流。

运行结果

运行结果

启动商品服务后，通过订单系统发起对商品服务的调用。

 

以前总认为RPC是遥不可及的，感觉是个很神奇的东西，实际上它的底层实现不就是这样的么~

 

就这样我们实现了一个简陋而又详细的RPC。
说它简陋，是因为这个实现确实比较挫，在下一小节会说它为什么挫。
说它详细，是因为它一步一步的演示了一个RPC的执行流程，方便大家了解RPC的内部机制。

为什么说这个RPC实现很挫???

这个RPC实现只是为了给大家演示一下RPC的原理，要是想放到生产环境去用，那是绝对不行的。

1、缺乏通用性
我通过给Calculator接口写了一个CalculatorRemoteImpl，来实现计算器的远程调用，下一次要是有别的接口需要远程调用，是不是又得再写对应的远程调用实现类？这肯定是很不方便的。

那该如何解决呢？先来看看使用Dubbo时是如何实现RPC调用的：

@Reference
private Calculator calculator;

...

calculator.add(1,2);

...

Dubbo通过和Spring的集成，在Spring容器初始化的时候，如果扫描到对象加了@Reference注解，那么就给这个对象生成一个代理对象，这个代理对象会负责远程通讯，然后将代理对象放进容器中。所以代码运行期用到的calculator就是那个代理对象了。

我们可以先不和Spring集成，也就是先不采用依赖注入，但是我们要做到像Dubbo一样，无需自己手动写代理对象，怎么做呢？那自然是要求所有的远程调用都遵循一套模板，把远程调用的信息放到一个RpcRequest对象里面，发给Server端，Server端解析之后就知道你要调用的是哪个RPC接口、以及入参是什么类型、入参的值又是什么，就像Dubbo的RpcInvocation：

public class RpcInvocation implements Invocation, Serializable {

    private static final long serialVersionUID = -4355285085441097045L;

    private String methodName;

    private Class<?>[] parameterTypes;

    private Object[] arguments;

    private Map<String, String> attachments;

    private transient Invoker<?> invoker;

2、集成Spring
在实现了代理对象通用化之后，下一步就可以考虑集成Spring的IOC功能了，通过Spring来创建代理对象，这一点就需要对Spring的bean初始化有一定掌握了。

3、长连接or短连接
总不能每次要调用RPC接口时都去开启一个Socket建立连接吧？是不是可以保持若干个长连接，然后每次有rpc请求时，把请求放到任务队列中，然后由线程池去消费执行？只是一个思路，后续可以参考一下Dubbo是如何实现的。

4、 服务端线程池
我们现在的Server端，是单线程的，每次都要等一个请求处理完，才能去accept另一个socket的连接，这样性能肯定很差，是不是可以通过一个线程池，来实现同时处理多个RPC请求？同样只是一个思路。

5、服务注册中心
正如之前提到的，要调用服务，首先你需要一个服务注册中心，告诉你对方服务都有哪些实例。Dubbo的服务注册中心是可以配置的，官方推荐使用Zookeeper。如果使用Zookeeper的话，要怎样往上面注册实例，又要怎样获取实例，这些都是要实现的。

6、负载均衡
如何从多个实例里挑选一个出来，进行调用，这就要用到负载均衡了。负载均衡的策略肯定不只一种，要怎样把策略做成可配置的？又要如何实现这些策略？同样可以参考Dubbo

7、结果缓存
每次调用查询接口时都要真的去Server端查询吗？是不是要考虑一下支持缓存？

8、多版本控制
服务端接口修改了，旧的接口怎么办？

9、异步调用
客户端调用完接口之后，不想等待服务端返回，想去干点别的事，可以支持不？

10、优雅停机
服务端要停机了，还没处理完的请求，怎么办？

......

诸如此类的优化点还有很多，这也是为什么实现一个高性能高可用的RPC框架那么难的原因。



 

黑旋风李鬼
关注
专栏目录
Qt基础之二十一：QtRO（Qt Remote Object）实现进程间通信
草上爬的博客
01-13 6528
这里将QtRO单独从上一篇拎出来，因为它是Qt5.9以后新加入的模块，专门用于进程间通信。其使用步骤有点类似之前介绍过的RPC（Remote Procedure Call）框架：gRPC和thrift，关于这两个框架详见和QtRO基于Socket封装，不仅支持RPC，还支持LPC（Local Process Communication），这两者都属于进程间通信。如果是用于RPC，使用QTcpSocket；如果用于LPC，则使用QLocalSocket。因为是Qt出品，能非常方便的集成到自己的Qt项目中。
java 异构数据_数据的异构实战（二）手写迷你版同步工程
weixin_30155853的博客
02-24 233
点击上方“Java知音”，选择“置顶公众号”技术文章第一时间送达！上一期讲到了通过canal订阅mysql的binlog日志并且转换为对象，那么这一次我们将订阅来的对象通过RocketMQ发送消息，接收方接受消息之后同时存储到其他类型的数据源当中，完成一个简单的数据异构的过程。 什么是Java消息服务？两个应用程序之间进行异步通信的API，它为标准消息协议和消息服务提供了一组通用接口，包括创建、...
minirpc:RPC,C,便携式,小型,嵌入式系统
07-09
迷你RPC 特征 一个小的 RPC 实现。 速度快，虽然受系统调用 select 的限制，但每 512 个请求将在大约 80 毫秒内完成。 这对于小型网络或嵌入式设备来说已经足够了。 Small ，Linux 上带有 -Os 的库，它的大小小于 70KB。 自包含库，该库不需要任何第三方，并且严格兼容 Linux/Windows 和 ANSI C 标准。 简单，这里没有火箭科学。 只是绝对最小和直观的功能，没有IDL生成，这里只需要ANSI C。 易于使用，设置服务器，用户只需要知道 4-5 个 API 就可以拥有一个具有多个后端线程池架构的 IO 线程； 对于客户端用户，只需要 1 个 API。 高效，有线协议完全基于二进制，整数使用 Base128 编码，字符串编码为切片。 每个数据包的开销非常小。 教程 Issue a request on client: API:
实现一个简单的RPC
liemadaren的博客
02-22 213
开始尝试搭建一个RPC框架，先从最简单的写起。 RPC（Remote Procedure Call）远程过程调用，是一个节点请求另一个节点提供的服务。 如何实现呢，很简单，创建服务端和客户端，客户端通过网络传输，告诉服务端需要调用的接口，服务端接收到客户端发送来的请求后，执行这个接口的实现类，然后返回结果。这里直接假设客户端知道服务端的地址了，后面再进行更复杂的实现。 后面的代码主要放关键部分。 照着这个原理，首先要有客户端和服务端都能访问的接口，这个接口主要就是返回一些信息。 public interfa
实现一个简易RPC
weixin_30583563的博客
05-11 108
RPC的主要目标 RPC即远程过程调用，主要是为了解决分布式系统服务之间的调用问题，在远程调用时就像调用本地服务一样，调用者不用感知远程调用的逻辑。接下来将会使用JDK动态代理以及Socket来实现一个简单的RPC服务。 RPC简易实现 使用动态代理技术将远程调用逻辑封装起来，返回一个代理对象，这样就使得调用者完全不用理会远程调用的逻辑，就像调用本地方法一样。具体看代码 先看客户端代码 /** ...
实现一个RPC框架
Glubin的博客
05-29 850
实现一个RPC框架
实现一个简单的RPC框架
03-28
使用socket／反射／序列化等技术实现了一个基本的远程调用框架，可参考博客http://blog.csdn.net/u013177446/article/details/66473066
简简单单实现一个mini版RPC框架
ksisn的博客
01-07 438
title: 简简单单实现一个mini版RPC框架 comments: false toc: true categories: 分布式方案 tags: RPC框架 MiniRPC date: 2021-01-06 23:31:58 所谓的RPC，是指Remote Procedure Call（远程过程调用），让我们可以调用本地的函数一样去调远程函数。 RPC可以屏蔽远程调用跟本地调用的区别，让我们感觉就是调用项目内的方法。 RPC隐藏底层网络通信的复杂性，让我们更专注于业务逻辑。 RPC的原理 .
C++极简版的RPC框架
li123128的博客
10-12 5446
　　前言 　　 　　RPC采用客户机/服务器模式实现两个进程之间的相互通信，socket是RPC经常采用的通信手段之一。当然，除了socket，RPC还有其他的通信方法：http、管道。。。网络开源的RPC框架也比较多，一个功能比较完善的RPC框架代码比较多，如何快速的从这些代码盲海中梳理清楚主要脉络，对于初学者来说比较困难，本文介绍之前自己实现的一个C++极简版的RPC框架，代码只有100多行，...
Go-clay用于gRPСRESTSwaggerAPI的迷你服务器平台
08-13
"Go-clay"是一个专为gRPC、REST和Swagger API设计的小型服务器平台，它提供了一个高效的框架，用于快速构建和部署服务。这个项目显然基于Go语言开发，因为Go是目前广泛用于服务器应用开发的高性能编程语言，尤其适合...
miniRPC:基于protobuf以及boost.asio网络模块实现的RPC
05-22
基于boost.asio网络模块和protobuf通信描述的RPC实现 ##1 RPC实现框架 目前实现的RPC只能一端的RPC client调用另一端的RPC service，没有返回值。如果需要返回值，另一端调用这一端的RPC，以参数作为返回值。 RPC分为client和service，client以protobuf的stub/channel形式实现，rpc server以service实现。 网络通信的服务端和客户端，都包括了RPC服务端和RPC客户端，RPC的客户端通过网络通信调用RPC服务端。 注意区分网络通信的服务端/客户端与RPC服务端/客户端，在本文中代表两种含义。 ##2 模块构成： TcpConnection： RpcChannel子类，提供CallMethod函数。该函数用于RPC客户端调用stub的service时使用，包括function和参数信息的序列化，以及调
探秘 Mini-RPC：一款轻量级、高效的分布式服务调用框架
最新发布
gitblog_00030的博客
04-02 396
探秘 Mini-RPC：一款轻量级、高效的分布式服务调用框架 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个由 WangYaPu 开发的开源项目，旨在提供一种简单、高性能的远程过程调用（RPC）解决方案。它设计的目标是为微服务架构下的服务间通信提供强大的支持，让开发者能够轻松实现跨节点的功能调用。 技术分析 设计理念 Mini-RPC 以“简约而不简单”为核心理...
RPC的实现
一见
01-01 1832
RPC全称为Remote Procedure Call，即远过程调用。如果没有RPC，那么跨机器间的进程通讯通常得采用消息，这会降低开发效率，也会增加网络层和上层的耦合度，RPC可以帮助我们解决这些问题。从上图可以看出，RPC是基于消息实现的，只不过它处于更上层，做了一层抽象和封装。实现上有很多现存的RPC实现，如Facebook出品Thrift、微软的COM/DCOM/COM+、跨平台的Corba、以及ACE提供的Tao等。本文将力图用比较简单的语言阐述一个RPC是如何实现的。
动手实现一个简单的RPC
进步的阶梯的博客
02-02 960
RPC remote procedure call,远程过程调用，顾名思义就是向远程计算机发送请求来获取服务。对于开发人员来说，调用远程服务就像是调用本地服务一样便捷。尤其是在微服务盛行的今天，了解RPC的原理过程是十分有必要的。今天我就来实现一个简单的RPC的功能。 建立三个maven项目 rpc-sever: 服务端，即服务的提供者 rpc-client: 客户端，即服务的消费者 rpc-c...
31 | 动手实现一个简单的RPC框架（一）：原理和程序的结构
qq_37756660的博客
02-12 1446
接下来的四节，我们会一起实现一个 RPC 框架。你可能会问，为什么不实现一个消息队列，而要实现一个 RPC 框架呢？原因很简单，我们课程的目的是希望能够学以致用举一反三，而不只是照猫画虎。在之前的课程中，我们一直在讲解消息队列的原理和实现消息队列的各种技术，那我们在实践篇如果再实现一个消息队列，不过是把之前课程中的内容重复实现一遍，意义不大。消息队列和 RPC 框架是我们最常用的两种通信方式，虽然这两种中间系统的功能不一样，但是，
Android Volley完全解析
假装你是大灰狼的专栏
01-07 424
源码解析 说起分析源码，那么应该从哪儿开始看起呢？这就要回顾一下Volley的用法了，还记得吗，使用Volley的第一步，首先要调用Volley.newRequestQueue(context)方法来获取一个RequestQueue对象，那么我们自然要从这个方法开始看起了，代码如下所示： public static RequestQueue newRequestQueue(Context cont...
手把手教你实现一个RPC框架
qq_39545674的博客
03-04 5179
文章目录0 前言1 总体介绍2 common模块2.1 ReflectionUtils.java3 codec模块3.1 序列化接口Encoder.java3.2 json序列化实现JSONEncoder.java3.3 反序列化接口Decoder.java3.4 反序列化实现JSONDecoder.java4 proto模块4.1 Peer.java4.2 Request.java4.3 ServiceDescriptor类4.4 Response.java类5 transport网络模块5.1 Tran
根据RPC框架原理，手写一个mini版RPC
cwdqpvdcfzfv02896的博客
09-30 435
在实际后台服务开发中，RPC框架具有很大的优势，其中当前dubbo已经受到大家的关注和认可，现在开始进行手动码一个简单的RPC框架。 项目背景 假如项目背景为： 订单服务（开发者A负责）需要调用商品服务（开发者B负责），那么开发者B会和A约定调用API，以接口的形式提供给A。通常都是B把API上传到Maven私服，然后B开始写API的实现，A只需要引入API依赖进行开发即可。   在...
C++轻量级RPC库rpc_core
u012456479的博客
02-12 1557
C++11轻量级的RPC库，可用于任何项目中，甚至单片机。方便平台直接相互进行功能调用。目前也有一些轻量的库，参考了protobuf（或者依赖它），基于IDL。其实对于中小型的项目而言，使用IDL并不是一个好的选择，使用也不方便。本库提供了性能更好、更加方便易用的序列化方案。
c++实现一个简易的rpc服务
06-06
RPC（Remote Procedure Call）是一种远程调用协议，它允许客户端程序调用远程服务器上的函数或方法。C++可以使用一些库来实现RPC服务，其中比较流行的有 gRPC 和 Apache Thrift。 以下是一个使用 gRPC 的简易 RPC 服务的示例： 1. 首先，需要安装 gRPC 和 Protocol Buffers： ``` sudo apt install -y build-essential autoconf libtool pkg-config grpc libgrpc++-dev protobuf-compiler-grpc ``` 2. 创建一个 Protocol Buffers 文件 `example.proto`，定义 RPC 服务的接口： ``` syntax = "proto3"; package example; service ExampleService { rpc SayHello (HelloRequest) returns (HelloResponse) {} } message HelloRequest { string name = 1; } message HelloResponse { string message = 1; } ``` 3. 使用 Protocol Buffers 编译器生成 C++ 代码： ``` protoc --grpc_out=. --cpp_out=. example.proto ``` 4. 实现 RPC 服务的接口： ``` #include <iostream> #include <memory> #include <string> #include <grpcpp/grpcpp.h> #include "example.grpc.pb.h" using grpc::Server; using grpc::ServerBuilder; using grpc::ServerContext; using grpc::Status; using example::HelloRequest; using example::HelloResponse; using example::ExampleService; class ExampleServiceImpl final : public ExampleService::Service { Status SayHello(ServerContext* context, const HelloRequest* request, HelloResponse* response) override { std::string prefix("Hello "); response->set_message(prefix + request->name()); return Status::OK; } }; void RunServer() { std::string server_address("0.0.0.0:50051"); ExampleServiceImpl service; grpc::ServerBuilder builder; builder.AddListeningPort(server_address, grpc::InsecureServerCredentials()); builder.RegisterService(&service); std::unique_ptr<Server> server(builder.BuildAndStart()); std::cout << "Server listening on " << server_address << std::endl; server->Wait(); } int main(int argc, char** argv) { RunServer(); return 0; } ``` 5. 编译并运行服务器代码： ``` g++ -std=c++11 -I. -I/usr/local/include -L/usr/local/lib example.pb.cc example.grpc.pb.cc example_server.cc -lgrpc++ -lgrpc -lgpr -lprotobuf -lpthread -o example_server ./example_server ``` 6. 编写客户端代码： ``` #include <iostream> #include <memory> #include <string> #include <grpcpp/grpcpp.h> #include "example.grpc.pb.h" using grpc::Channel; using grpc::ClientContext; using grpc::Status; using example::HelloRequest; using example::HelloResponse; using example::ExampleService; class ExampleClient { public: ExampleClient(std::shared_ptr<Channel> channel) : stub_(ExampleService::NewStub(channel)) {} std::string SayHello(const std::string& name) { HelloRequest request; request.set_name(name); HelloResponse response; ClientContext context; Status status = stub_->SayHello(&context, request, &response); if (status.ok()) { return response.message(); } else { return "RPC failed"; } } private: std::unique_ptr<ExampleService::Stub> stub_; }; int main(int argc, char** argv) { ExampleClient client(grpc::CreateChannel("localhost:50051", grpc::InsecureChannelCredentials())); std::string name("World"); std::string reply = client.SayHello(name); std::cout << "Received: " << reply << std::endl; return 0; } ``` 7. 编译并运行客户端代码： ``` g++ -std=c++11 -I. -I/usr/local/include -L/usr/local/lib example.pb.cc example.grpc.pb.cc example_client.cc -lgrpc++ -lgrpc -lgpr -lprotobuf -lpthread -o example_client ./example_client ``` 以上是一个简易的使用 gRPC 实现的 RPC 服务和客户端的示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值