【RFC】RFC远程函数调用-微服务的理解-用通俗的语言解释一下什么是 RPC 框架

前言:

来源知乎:用通俗的语言解释一下什么是 RPC 框架?的提问,只是自己进行了一下思路的整理和整合,方便留作存档
https://www.zhihu.com/question/25536695/answer/154614906

RFC接口代码实现:点此跳转

1.为什么要用RFC(远程过程调用

RFC,也就是本地的应用的某个函数,去调用其他电脑上的某个函数:

作者:得闲野鹤
链接:https://www.zhihu.com/question/25536695/answer/154614906

  1. 早期单机时代,一台电脑上运行多个进程,大家各干各的,老死不相往来。假如A进程需要一个画图的功能,B进程也需要一个画图的功能,程序员就必须为两个进程都写一个画图的功能。这不是整人么?于是就出现了IPC(Inter-process communication,单机中运行的进程之间的相互通信)。OK,现在A既然有了画图的功能,B就调用A进程上的画图功能好了,程序员终于可以偷下懒了。到了网络时代,大家的电脑都连起来了。以前程序只能调用自己电脑上的进程,能不能调用其他机器上的进程呢?于是就程序员就把IPC扩展到网络上,这就是RPC(远程过程调用)了。现在不仅单机上的进程可以相互通信,多机器中的进程也可以相互通信了。

  2. 在做一个访问量不大的项目的时候,一台服务器部署上一个 应用+数据库 也就够了。访问量稍微大一点之后,为了解决用户反馈的卡、反应慢的情况,我们就上集群,架设nginx,部署多个服务,由nginx负责把请求转发到其他服务上,这样就解决了用户说的卡慢问题.

  3. 过了一段时间之后,我们发现数据库已经扛不住了,应用服务完好,数据库有时候宕机。 那这个时候呢,我们就上数据库读写分离,再架设几台数据库服务器,做主从,做分库分表. 然后数据库也不宕机了,服务又恢复了流畅.

  4. 又过了一段时间,公司事业蒸蒸日上,服务访问量越来越高,且大部分都是查询, 吸取之前宕机且为了保证数据库的健壮性,这个时候又加上了缓存, 把用户高频次访问的数据放到缓存里.

  5. 后来,项目功能越来越多,整个项目也愈发庞大,修改一个类就需要全盘上传,切换nginx来重启,这样的发布流程越来越长,越来越繁杂。然后我们开始把模块拆分,用户信息读取分一个项目,订单系统读取分一个项目,这样就达到了目的,用户模块代码修改的时候,只需要更新用户信息对应的服务就好了,不需要再一起重启订单系统。但是还是需要切换顶层的nginx,(未重启前,数据在备用机上跑,然后把主机重启,然后切到备用机,把备用机也重启)把要重启的服务的流量切到可用服务上. 这个时候我们就想到了RPC(远程过程调用)

  6. RFC可以完成无法在一个进程、甚至一个计算机内通过本地调用完成的需求,比如不同系统间的通讯,甚至不同组织间的通讯。可以使得某台计算机可以调用其他计算机上定义的函数,去进行分布式的处理

2.那么RPC(远程过程调用)解决了什么呢?

  • 解决了拓展服务时的耗时间长,浪费资源等问题。

  • 所有的服务在启动的时候注册到一个注册机里面,然后顶层处理在接收到nginx的请求时,去注册机找一个可用的服务,并调用接口,这样子,在不加新功能的时候,顶层处理服务我们就不需要动了。

  • 那修改了用户信息项目的时候,我们只需要一个个更新用户信息项目的服务群(可以想象到,这样的服务都是分块的而且比较小的)就好了,这样的话,无论是扩展还是服务的健壮性都妥妥的了。

3.什么是RFC:

作者:洪春涛
链接:https://www.zhihu.com/question/25536695/answer/221638079

本地过程调用:

RPC就是要像调用本地的函数一样去调远程函数。
例如:两台服务器A、B,一个应用部署在A服务器上,想要调用B服务器上的应用提供的函数/方法,由于不在一个内存空间中,只能通过网络表达调用的语义和传达调用的数据。
在研究RPC前,我们先看看本地调用是怎么调的。假设我们要调用函数Multiply来计算lvalue * rvalue的结果:
在这里插入图片描述
那么在第8行时,我们实际上执行了以下操作:

  1. 将 lvalue 和 rvalue 的值压栈
  2. 进入Multiply函数,取出栈中的值10 和 20,将其赋予 l 和 r
  3. 执行第2行代码,计算 l * r ,并将结果存在 y
  4. 将 y 的值压栈,然后从Multiply返回
  5. 第8行,从栈中取出返回值 200 ,并赋值给 l_times_r

 以上5步就是执行本地调用的过程。(注:以上步骤只是为了说明原理。事实上编译器经常会做优化,对于参数和返回值少的情况会直接将其存放在寄存器,而不需要压栈弹栈的过程,甚至都不需要调用call,而直接做inline操作。仅就原理来说,这5步是没有问题的。)

4.远程过程调用带来的新问题:

 在远程调用时,我们需要执行的函数体是在远程的机器上的,也就是说,Multiply这个函数是在另一个进程中执行的。这就带来了几个新问题:

  1. 如何解决通讯问题:客户端和服务器之间需要传消息,所以需要建立TCP连接,交换数据

  2. 如何解决寻址问题:A服务器上的应用怎么告诉底层的RPC框架,如何连接到B服务器(hostname【主机名】或者IP地址)以及特定的端口,需要调用的B服务器上方法的名称。

  3. 如何解决参数传递问题:需要把参数序列化为二进制,通过序列化为二进制或者编组(marshal),通过寻址和传输将序列化的二进制发送给B服务器。

  4. 如何解决翻译问题:B收到了参数序列,需要翻译(反序列化),恢复为内存中的表达方式,然后找到这个调用的方法名进行本地调用,得到返回值

  5. 如何解决返回问题:B得到了计算结果,需要返回发送给A服务器,交给A服务器上的应用,A服务器上调用了B来计算的函数继续运行下去,显然对于单个函数来说是同步的,但是就响应机制来说,这是异步(事件和响应)的。


  1. Call ID映射。我们怎么告诉远程机器我们要调用Multiply函数,而不是Add或者FooBar呢?在本地调用中,函数体是直接通过函数指针来指定的,我们调用Multiply函数,编译器就自动帮我们调用它相应的函数指针。但是在远程调用中,函数指针是不行的,因为两个进程的地址空间是完全不一样的。所以,在RPC中,所有的函数都必须有自己的一个ID。这个ID在所有进程中都是唯一确定的。客户端在做远程过程调用时,必须附上这个ID。然后我们还需要在客户端和服务端分别维护一个 {函数 <–> Call ID} 的对应表。两者的表不一定需要完全相同,但相同的函数对应的Call ID必须相同。当客户端需要进行远程调用时,它就查一下这个表,找出相应的Call ID,然后把它传给服务端,服务端也通过查表,来确定客户端需要调用的函数,然后执行相应函数的代码。
  2. 序列化和反序列化。客户端怎么把参数值传给远程的函数呢?在本地调用中,我们只需要把参数压到栈里,然后让函数自己去栈里读就行。但是在远程过程调用时,客户端跟服务端是不同的进程,不能通过内存来传递参数。甚至有时候客户端和服务端使用的都不是同一种语言(比如服务端用C++,客户端用Java或者Python)。这时候就需要客户端把参数先转成一个字节流,传给服务端后,再把字节流转成自己能读取的格式。这个过程叫序列化和反序列化。同理,从服务端返回的值也需要序列化反序列化的过程。(JSON、Protocol Buffers都是对象序列化方式)
  3. 网络传输。远程调用往往用在网络上,客户端和服务端是通过网络连接的。所有的数据都需要通过网络传输,因此就需要有一个网络传输层。网络传输层需要把Call ID和序列化后的参数字节流传给服务端,然后再把序列化后的调用结果传回客户端。只要能完成这两者的,都可以作为传输层使用。因此,它所使用的协议其实是不限的,能完成传输就行。尽管大部分RPC框架都使用TCP协议,但其实UDP也可以,而gRPC干脆就用了HTTP2。Java的Netty也属于这层的东西。

有了这三个机制,就能实现RPC了,具体过程如下:

Client端
//    int l_times_r = Call(ServerAddr, Multiply, lvalue, rvalue)
1. 将这个调用映射为Call ID。这里假设用最简单的字符串当Call ID的方法
2. 将Call ID,lvalue和rvalue序列化。可以直接将它们的值以二进制形式打包
3. 把2中得到的数据包发送给ServerAddr,这需要使用网络传输层
4. 等待服务器返回结果
5. 如果服务器调用成功,那么就将结果反序列化,并赋给l_times_r
Server端
1. 在本地维护一个Call ID到函数指针的映射call_id_map,可以用std::map<std::string, std::function<>>
2. 等待请求
3. 得到一个请求后,将其数据包反序列化,得到Call ID
4. 通过在call_id_map中查找,得到相应的函数指针
5. 将lvalue和rvalue反序列化后,在本地调用Multiply函数,得到结果
6. 将结果序列化后通过网络返回给Client
所以要实现一个RPC框架,其实只需要按以上流程实现就基本完成了。

其中:

  • Call ID映射可以直接使用函数字符串,也可以使用整数ID。映射表一般就是一个哈希表。
  • 序列化反序列化可以自己写,也可以使用Protobuf或者FlatBuffers之类的。
  • 网络传输库可以自己写socket,或者用asio,ZeroMQ,Netty之类。

当然,这里面还有一些细节可以填充,比如如何处理网络错误,如何防止攻击,如何做流量控制,等等。但有了以上的架构,这些都可以持续加进去。

最后,有兴趣的可以看RPC库 Remmy(hjk41/Remmy),对于理解RPC如何工作很有好处。

5.RPC接口实现

 因为RPC的作用是让使用者调用远程请求时,就像调用本地函数,所以本地调用端和远程服务端应该使用统一的端口,然后远程调用端定义需要对数据做的处理的逻辑,本地调用则传入需要处理的数据。

例如:

设计一个获取部门员工列表的RPC请求,传入部门ID,需要返回员工的列表:

定义接口:
@RemoteClass("com.easyrpc.server.service.EmployeeService") //服务器类名
public interface getEmployeeList {  //定义接口
    String queryEmployeeList(Integer id);
}
客户端部分设计为:
@Autowired 
private EmployeeService employeeService; //自动定位到雇员的服务
//定义服务接口:employeeService

@RequestMapping("/getEmployeeList") 
//调用服务端继承的employeeService接口下的函数getEmployeeList()
public String ClientGetEmployeeList() { 
	//在客户端,该函数叫ClientGetEmployeeList()
        List<Integer> emplyee = employeeService.getEmployeeList(id);
        //从服务端获取返回值
        return emplyee.toString();
    }

服务器端设计为:
public List<Integer> getEmployeeList (Integer id) {
        List<Integer> employee = FindEmployees(id);//查找雇员的列表
        return employee;
    }

6.分布式RPC需要解决哪些问题?

  1. protocol:传输协议
  2. proxy:client代理,服务引用方调用方法通过代理发送远程消息
  3. codec:协议编解码压缩等
  4. transport:协议传输
  5. registry:注册中心,服务注册服务发现
  6. cluster:负载均衡,服务容错策略
  7. 其他:服务降级,服务隔离,服务治理

7.如何实现一个分布式的RPC框架:

第一步,选择传输协议:

高性能的rpc和良好的编码协议是分不开的。好的协议不仅耗用流量小,而且序列化和反序列化更快。

现在比较流行的协议有thrift(有自己的网络通信框架+thrift 对象序列化协议+thrift 调用控制协议),protobuf(只是 对象序列化协议),json(XML 和 JSON 作为对象序列化之后的格式),restful(API 设计规范,用于 Web 数据接口的设计)等。&smsp;其中thrfit和protobuf性能都比较优异,而且占用空间小,最重要的是跨语言,具有语言平台无关性。但美中不足的是他们都需要预先根据协议文件预先生成好代码。开发极不流畅。

我们也可以自定义协议,像dubbo(https://segmentfault.com/a/1190000019896723)和motan(http://kriszhang.com/motan-rpc-impl/)一样,定制自己的私有协议,

比如motan协议的header部分如下:
在这里插入图片描述
body部分采用hession或者fastjson序列化,
如果不考虑跨语言,这种算是比较完美的解决方案。

定义协议过程中的一些重要且容易忽略的问题:

协议版本号
消息id
协议扩展字段
第二步,协议传输层

一个高性能RPC框架最重要的四个点就是:传输协议,框架线程模型,IO模型,零拷贝。java程序如果能做好这四点,那么性能应该不会比c++程序差多少。而作为java开发者,netty正好解决了后三个点,所以使用netty作为RPC框架的传输层会事半功倍。

第三步,注册中心的选择:

现在有很多提供服务注册发现的服务,实现成本比较低就是zookeeper,可以很容易的实现服务注册和服务发现的功能。

总结:

解决了这三步,后面的就得脚踏实地码代码了,当然后续会有很多细节,不过都不是问题,现在有好多成熟的开源框架可以参考。

也可以参考分布式RPC框架,dempeZheng/forestRPC 基于netty, spring,轻量的高性能分布式RPC服务框架。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值