Go最全架构设计：如何实现一个高性能分布式 RPC 框架_rpc oneway，作为一名Golang面试者你应该知道的

最新推荐文章于 2024-07-18 23:01:13 发布
最新推荐文章于 2024-07-18 23:01:13 发布
阅读量869 收藏 29
点赞数 12
分类专栏： 程序员 文章标签： go 学习 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84904706/article/details/138763434
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

RPC 框架包含三个最重要的组件，分别是客户端、服务端和注册中心。在一次 RPC 调用流程中，这三个组件是这样交互的：

  • 服务端在启动后，会将它提供的服务列表发布到注册中心，客户端向注册中心订阅服务地址；
  • 客户端会通过本地代理模块 Proxy 调用服务端，Proxy 模块收到负责将方法、参数等数据转化成网络字节流；
  • 客户端从服务列表中选取其中一个的服务地址，并将数据通过网络发送给服务端；
  • 服务端接收到数据后进行解码，得到请求信息；
  • 服务端根据解码后的请求信息调用对应的服务，然后将调用结果返回给客户端。

虽然 RPC 调用流程很容易理解，但是实现一个完整的 RPC 框架设计到很多内容，例如服务注册与发现、通信协议与序列化、负载均衡、动态代理等，下面我们一一进行初步地讲解。

服务注册与发现

在分布式系统中，不同服务之间应该如何通信呢？传统的方式可以通过 HTTP 请求调用、保存服务端的服务列表等，这样做需要开发者主动感知到服务端暴露的信息，系统之间耦合严重。为了更好地将客户端和服务端解耦，以及实现服务优雅上线和下线，于是注册中心就出现了。

在 RPC 框架中，主要是使用注册中心来实现服务注册和发现的功能。服务端节点上线后自行向注册中心注册服务列表，节点下线时需要从注册中心将节点元数据信息移除。客户端向服务端发起调用时，自己负责从注册中心获取服务端的服务列表，然后在通过负载均衡算法选择其中一个服务节点进行调用。以上是最简单直接的服务端和客户端的发布和订阅模式，不需要再借助任何中间服务器，性能损耗也是最小的。

现在思考一个问题，服务在下线时需要从注册中心移除元数据，那么注册中心怎么才能感知到服务下线呢？我们最先想到的方法就是节点主动通知的实现方式，当节点需要下线时，向注册中心发送下线请求，让注册中心移除自己的元数据信息。但是如果节点异常退出，例如断网、进程崩溃等，那么注册中心将会一直残留异常节点的元数据，从而可能造成服务调用出现问题。

为了避免上述问题，实现服务优雅下线比较好的方式是采用主动通知 + 心跳检测的方案。除了主动通知注册中心下线外，还需要增加节点与注册中心的心跳检测功能，这个过程也叫作探活。心跳检测可以由节点或者注册中心负责，例如注册中心可以向服务节点每 60s 发送一次心跳包，如果 3 次心跳包都没有收到请求结果，可以任务该服务节点已经下线。

由此可见，采用注册中心的好处是可以解耦客户端和服务端之间错综复杂的关系，并且能够实现对服务的动态管理。服务配置可以支持动态修改，然后将更新后的配置推送到客户端和服务端，无须重启任何服务。

通信协议与序列化

既然 RPC 是远程调用，必然离不开网络通信协议。客户端在向服务端发起调用之前，需要考虑采用何种方式将调用信息进行编码，并传输到服务端。因为 RPC 框架对性能有非常高的要求，所以通信协议应该越简单越好，这样可以减少编解码的性能损耗。RPC 框架可以基于不同的协议实现，大部分主流 RPC 框架会选择 TCP、HTTP 协议，出名的 gRPC 框架使用的则是 HTTP2。TCP、HTTP、HTTP2 都是稳定可靠的，但其实使用 UDP 协议也是可以的，具体看业务使用的场景。成熟的 RCP 框架能够支持多种协议，例如阿里开源的 Dubbo 框架被很多互联网公司广泛使用，其中可插拔的协议支持是 Dubbo 的一大特色，这样不仅可以给开发者提供多种不同的选择，而且为接入异构系统提供了便利。

客户端和服务端在通信过程中需要传输哪些数据呢？这些数据又该如何编解码呢？如果采用 TCP 协议，你需要将调用的接口、方法、请求参数、调用属性等信息序列化成二进制字节流传递给服务提供方，服务端接收到数据后，再把二进制字节流反序列化得到调用信息，然后利用反射的原理调用对应方法，最后将返回结果、返回码、异常信息等返回给客户端。所谓序列化和反序列化就是将对象转换成二进制流以及将二进制流再转换成对象的过程。因为网络通信依赖于字节流，而且这些请求信息都是不确定的，所以一般会选用通用且高效的序列化算法。比较常用的序列化算法有 FastJson、Kryo、Hessian、Protobuf 等，这些第三方序列化算法都比 Java 原生的序列化操作都更加高效。Dubbo 支持多种序列化算法，并定义了 Serialization 接口规范，所有序列化算法扩展都必须实现该接口，其中默认使用的是 Hessian 序列化算法。

RPC 调用方式

成熟的 RPC 框架一般会提供四种调用方式，分别为同步 Sync、异步 Future、回调 Callback和单向 Oneway。RPC 框架的性能和吞吐量与合理使用调用方式是息息相关的，下面我们逐一介绍下四种调用方式的实现原理。

Sync 同步调用。客户端线程发起 RPC 调用后，当前线程会一直阻塞，直至服务端返回结果或者处理超时异常。Sync 同步调用一般是 RPC 框架默认的调用方式，为了保证系统可用性，客户端设置合理的超时时间是非常重要的。虽说 Sync 是同步调用，但是客户端线程和服务端线程并不是同一个线程，实际在 RPC 框架内部还是异步处理的。Sync 同步调用的过程如下图所示。

1.png

  • Future 异步调用。客户端发起调用后不会再阻塞等待，而是拿到 RPC 框架返回的 Future 对象，调用结果会被服务端缓存，客户端自行决定后续何时获取返回结果。当客户端主动获取结果时，该过程是阻塞等待的。Future 异步调用过程如下图所示。

2.png

  • Callback 回调调用。如下图所示，客户端发起调用时，将 Callback 对象传递给 RPC 框架，无须同步等待返回结果，直接返回。当获取到服务端响应结果或者超时异常后，再执行用户注册的 Callback 回调。所以 Callback 接口一般包含 onResponse 和 onException 两个方法，分别对应成功返回和异常返回两种情况。

3.png

  • Oneway 单向调用。客户端发起请求之后直接返回，忽略返回结果。Oneway 方式是最简单的，具体调用过程如下图所示。

4.png

四种调用方式都各有优缺点，很难说异步方式一定会比同步方式效果好，在不用的业务场景可以按需选取更合适的调用方式。

线程模型

线程模型是 RPC 框架需要重点关注的部分，与我们之前介绍的 Netty Reactor 线程模型有什么区别和联系吗？

首先我们需要明确 I/O 线程和业务线程的区别，以 Dubbo 框架为例，Dubbo 使用 Netty 作为底层的网络通信框架，采用了我们熟悉的主从 Reactor 线程模型，其中 Boss 和 Worker 线程池就可以看作 I/O 线程。I/O 线程可以理解为主要负责处理网络数据，例如事件轮询、编解码、数据传输等。如果业务逻辑能够立即完成，也可以使用 I/O 线程进行处理，这样可以省去线程上下文切换的开销。如果业务逻辑耗时较多，例如包含查询数据库、复杂规则计算等耗时逻辑，那么 I/O 必须将这些请求分发到业务线程池中进行处理，以免阻塞 I/O 线程。

那么哪些请求需要在 I/O 线程中执行，哪些又需要在业务线程池中执行呢？Dubbo 框架的做法值得借鉴，它给用户提供了多种选择，它一共提供了 5 种分发策略，如下表格所示。

Lark20210101-221822.png

负载均衡

在分布式系统中，服务提供者和服务消费者都会有多台节点，如何保证服务提供者所有节点的负载均衡呢？客户端在发起调用之前，需要感知有多少服务端节点可用，然后从中选取一个进行调用。客户端需要拿到服务端节点的状态信息，并根据不同的策略实现负载均衡算法。负载均衡策略是影响 RPC 框架吞吐量很重要的一个因素，下面我们介绍几种最常用的负载均衡策略。

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

如果你需要这些资料，可以戳这里获取

2401_84904706
关注
专栏目录
如何实现一个高性能分布式 RPC 框架
悟已往之不谏，知来者之可追
01-07 390
RPC 框架是大型企业高频使用的一种中间件框架，用于解决分布式系统中服务之间的调用问题。RPC 框架设计很多重要的知识点，如线程模型、通信协议设计、同步/异步调用、负载均衡等，对于提高我们的技术综合能力有非常大的帮助。 市面上有较多出名的 RPC 框架，例如 Dubbo、Thrift、gRPC 等，RPC 框架本身是非常负责的，我们不可能面面俱到，而是抓住 RPC 框架的核心流程以及必备的组件，开发一个功能比较丰富的小型 RPC 框架。麻雀虽小，五脏俱全。 在正式开始 RPC 实战项目之前，我们先学习一下
这次我设计了一款TPS百万级别的分布式、高性能、可扩展的RPC框架
weixin_70730532的博客
08-24 493
次准备下手的是RPC框架项目。为什么要对RPC框架项目下手呢，因为在如今分布式、微服务乃至云原生不断发展的过程中，RPC作为底层必不可少通信组件，被广泛应用在分布式、微服务和云原生项目中。
高性能RPC框架——Dubbo一站式快速入门
weixin_33709364的博客
01-22 184
一、Web应用架构的演变 ​ 随着互联网的发展，网站应用的规模不断扩大，Web应用架构也在不断的演变 ​ 四个阶段：单一应用、垂直应用、分布式服务、流动计算 1.单一应用架构 ​ 当网站访问量很小时，只需要一个应用程序，将所有的功能都部署在一起，以减少部署节点和成本 ​ 此时关键问题：简化数据库操作，数据访问框架ORM是核心 ​ 适用场景：小型网站、管理系统、简易办公系统 ...
Go网络编程-RPC程序设计
最新发布
choice~的博客
07-18 1175
RPC, Remote Procedure Call，远程过程调用。与 HTTP 一致，也是应用层协议。该协议的目标是实现：调用远程过程（方法、函数）就如调用本地方法一致。如图所示：说明：ServiceA 需要调用 ServiceB 的 FuncOnB 函数，对于 ServiceA 来说 FuncOnB 就是远程过程即可完成调用RPC 是 C/S 模式，调用方为 Client，远程方为 ServerRPC 把整体的调用过程，数据打包、网络请求等，封装完毕，在 C、S 两端的 Stub 中。
聊聊高性能 RPC框架 gRPC
码猿技术专栏
08-12 288
大家好，我是不才陈某~RPC、gRPC、Thrift、HTTP，大家知道它们之间的联系和区别么？这些都是面试常考的问题，今天带大家先搞懂 RPC 和 gRPC。在讲述 gRPC 之前，我们需要先搞懂什么是 RPC。不 BB，直接上文章目录：什么是 RPC ？RPC（Remote Procedure Call Protocol）远程过程调用协议，目标就是让远程服务调用更加简单、透明。RPC 框架负责...
高性能RPC框架dubbo
weixin_42494845的博客
10-19 219
什么是dubbo? Apache Dubbo™ (incubating)是一款由阿里团队开发的一款优秀的RPC框架高性能Java RPC框架。官网：http://dubbo.apache.org/zh-cn/index.html 什么是RPC？ RPC是远程过程调用（Remote Procedure Call）的缩写形式。它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RP
【Dubbo】高性能 RPC 通信框架
菜鸡也有大佬梦
05-10 460
主要内容 ： • Dubbo 简介 ； • Dubbo 总体大图 。 主要是对 Dubbo 总体的介绍 ， 让读者对 Dubbo 有一个总体的认识 。 首先介绍后台应用 架构的演进过程 ， 从最初的 JEE 到现在的微服务架构都会介绍 ； 然后简单介绍一下 Dubbo, 包 括它的发展历史 、 未来方向等 ； 最后讲解 Dubbo 的总体大图 ， 通过分层的方式讲解 Dubb 。 的总 体架构 ， 并介绍 Dubbo 的核心组件及总体流程 1.2 Dubbo 简介 假设你正在参与公司一项非常重要的项目开发
golang如何使用原生RPC及微服务简述
m0_37322399的博客
05-12 452
文章目录golang如何使用原生RPC及微服务简述微服务1. 微服务是什么2. 特点是啥3. 微服务架构的优势4. 微服务架构的不足微服务生态1. 硬件层2. 通信层数据传输协议选型建议RPC 机制和实现过程1. RPC机制2. 参数传递3. 通信协议机制4. 简易GO语言原生RPCrpc调用和服务监控1. RPC简介2. RPC调用流程3.rpc golang 原生处理方式最简单的golang原生rpc的使用golang使用jsonrpcgolang原生rpc自定义协议**写入数据和读取数据的函数封装**
开源啦~基于高性能 RPC 框架实现微服务实战
wangsofa的博客
11-01 270
点击上方蓝色字体，选择“设为星标”回复”云原生“获取基础架构实践概览下面给大家介绍一开源高性能 RPC 框架KiteX，该框架由bytedance开源，实践过数千个微服务，QPS过亿。经过持续迭代、持续更新，在吞吐和延迟方面表现了显著的效果。作为 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点。如果对微服务性能有要求，又希望定制扩展融入自己的治理体系，Kitex 会是一个不错的选...
XXL-RPC v1.7.0，分布式服务框架
许雪里
10-02 248
XXL-RPC 是一个分布式服务框架，提供稳定高性能的RPC远程服务调用功能。拥有"高性能、分布式、注册中心、负载均衡、服务治理"等特性。现已开放源代码，开箱即用。
基于Netty的高性能RPC框架（分布式缓存、雪花算法、幂等性）
fyphome
11-25 1179
解决了幂等性不能在多台服务器实现的问题，处理涉及分布式缓存、雪花算法、时钟回拨等有挑战性的问题。VERSIONVERSION2.1.02.1.0JDK: 8.0JDKJDK8.08.0NACOSNACOS1.431.43NETTYNETTYLICENCELICENCEMITMIT一个分布式微服务RPC框架 |英文说明文档|SpringBoot整合RPC基于Socket和Netty异步非阻塞通信的解决方案；
轻量级高性能 RPC 框架 HRPC.zip
07-18
HRPC HRPC是一款基于Netty和Zookeeper设计的轻量级高性能RPC框架。特性采用Protostuff序列化；高性能，负载均衡；支持服务的注册和订阅；支持同步及异步2种调用方式；长连接，自动重连；采用cglib动态代理；代码简答，易上手；支持Spring；HRPC结构图服务注册中心服务端1. 通过Spring配置<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"        xmlns:context="http://www.springframework.org/schema/context"        xsi:schemaLocation="http://www.springframework.org/schema/context        http://www.springframework.org/schema/context/spring-context.xsd">     <!--扫描需求发布的服务所在的包-->     <context:component-scan base-package="com.yingjun.rpc.service.impl"/>     <context:property-placeholder location="classpath:system.properties"/>     <!--服务端配置-->     <bean id="rpcServer" class="com.yingjun.rpc.server.RPCServer">         <constructor-arg name="zookeeper" value="${zookeeper.address}"/>         <constructor-arg name="serverAddress" value="${server.address}"/>     </bean> </beans>2. 服务接口public interface UserService {     public User getUser(String phone);     public User updateUser(User user); }3. 注册服务实现@HRPCService(UserService.class) public class UserServiceImpl implements UserService {     @Override     public User getUser(String phone) {         User user =new User(111,"yingjun",phone);         return user;     }     @Override     public User updateUser(User user) {         user.setName("yingjun@update");         return user;     } }客户端1. Spring配置<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans"        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"        xmlns:context="http://www.springframework.org/schema/context"        xsi:schemaLocation="http://www.springframework.org/schema/beans        http://www.springframework.org/schema/beans/spring-beans.xsd        http://www.springframework.org/schema/context        http://www.springframework.org/schema/context/spring-context.xsd">     <context:annotation-config/>     <context:property-placeholder location="classpath:system.properties"/>     <!--客户端配置-->     <bean id="rpcClient" class="com.yingjun.rpc.client.RPCClient">         <constructor-arg name="zookeeper" value="${zookeeper.address}"/>         <!--订阅需要用到的接口-->         <constructor-arg name="interfaces">             <list>                 <value>com.yingjun.rpc.service.OrderService</value>                 <value>com.yingjun.rpc.service.UserService</value>                 <value>com.yingjun.rpc.service.GoodsService</value>             </list>         </constructor-arg>     </bean> </beans>2. 同步调用UserService userService = rpcClient.createProxy(UserService.class); User user1 = userService.getUser("188888888"); logger.info("result:"   user1.toString());3. 异步调用AsyncRPCProxy asyncProxy = rpcClient.createAsyncProxy(UserService.class); asyncProxy.call("getUser", new AsyncRPCCallback() {      @Override      public void success(Object result) {          logger.info("result:"   result.toString());      }      @Override      public void fail(Exception e) {          logger.error("result:"   e.getMessage());      }  }, "188888888"); 标签：rpc
高性能RPC框架--Apache Dubbo
u014379055的博客
10-31 184
Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。 1 Dubbo 处理流程 节点说明： 节点 角色名称 Provider 暴露服务的服务提供方 Consumer 调用远程服务的服务消费方 Registry 服务注册与发现的注册中心 Monitor 统计服务的调用次数和调用时间的监控中心 Container 服务运行容器 负责启动 加载 运行服务提供者 调用关系说明: 虚线
高性能RPC框架选型
weixin_30439031的博客
12-10 244
架构师进行高性能RPC框架选型时，主要考虑以下因素： 1、I/O调度模型 同步阻塞I/O（BIO）还是非阻塞I/O（NIO）。这个比较好理解。 2、序列化框架 文本协议、二进制协议或压缩二进制协议。这句话是网上经常看到的，但其实表述很不完整。之前初学时有人问，JSON文本传输时不也是二进制么，当时就懵了。文本协议如JSON将整个消息作为文本传输，而像ProtoBuf会针对每个属性区分，如i...
Go 实现简易 RPC 框架
weixin_34355881的博客
03-11 254
本文旨在讲述 RPC 框架设计中的几个核心问题及其解决方法，并基于 Golang 反射技术，构建了一个简易的 RPC 框架。 项目地址：Tiny-RPC RPC RPC（Remote Procedure Call），即远程过程调用，可以理解成，服务 A 想调用不在同一内存空间的服务 B 的函数，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据。 服务端 RPC 服务...
如何实现一个分布式RPC框架
weixin_34242658的博客
07-04 124
远程过程调用（Remote Procedure Call，RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外地为这个交互作用编程。RPC的主要目标是让构建分布式应用更加容易，在提供强大的远程调用能力的同时不损失本地调用的语义的简洁性。 趁实习前的这段业余时间，我实现了一个轻量级的分布式RPC框架，名字叫做 buddha，代码量不大，但是麻雀虽小...
【RPC高性能框架总结】1.自定义rpc框架的设计思路
程序猿之洞
01-06 1402
一、RPC原理学习 1.1什么是RPC RPC(Remote Procedure Call Protocol) ——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易...
Go语言 - RPC框架
m0_62401440的博客
05-27 908
1.什么是RPC RPC - Remote Procedure Calls 远程函数调用 相当于本地将参数上传到云端，云端根据形参计算返回结果，并返还给本地。 2.RPC需要解决的问题 函数映射 数据转换成字节流 网络传输 3.一次RPC的完整过程 IDL文件：通过一种中立的方式来描述接口，使得不同平台上运行的对象可以互相通信，例如thrift，proto 生成代码：通过编译器工具把IDL文件转换成语言对应的静态库 编解码：传输过程中用于打包与解压 通信协议：规范了数据在网络中
[go]简单的RPC框架
CRAJA的blog
05-05 1227
将信息使用gob压缩，通过TCP进行传输实现远程服务调用。 原教程 主要分为以下几步 约定数据包传输格式 约定数据的加密和解密 服务端对请求的回复的封装 客户端对函数注册的封装 项目结构 ├── client.go ├── cmd │   ├── client │   │   └── main.go │   ├── server │   │   └── main.go │ &
请给我一个python代码来实现你上一个回答中的几个分析方法。
06-04
以下是一个 Python 代码示例，演示如何使用 Pandas 库进行数据处理和分析： ```python import pandas as pd import numpy as np import scipy.stats as stats import statsmodels.api as sm # 加载数据 df = pd....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值