造轮子实现RPC框架_01_MyRPCFramework简介

已于 2022-09-12 12:50:33 修改
阅读量1.5k 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 big data
于 2022-03-08 00:51:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46141936/article/details/123343544
版权

项目简介: 造轮子实现"MyRPCFramework"框架

RPC介绍:

RPC是让客户端远程调用服务端方法 就像 调用本地方法一样简单的一种设计理念

一个最简单的 RPC 框架架构 ：

在这里插入图片描述

技术要点: SPI+注册中心+Socket编程+享元模式+动态代理+反射

MyRPCFramework框架流程:

  1. 服务端集群 把自己能提供的服务 注册进ZooKeeper
  2. 客户端定义一个和服务端相同的接口, 然后生成这个接口的代理实现类, 代理负责(封装数据包, 拆解数据包, 访问ZooKeerper得到服务端ipList, 负载均衡选择一个ip进行访问)
  3. 服务端收到了客户端发的消息"调用xxx服务名的yyy方法", 然后通过反射调用具体实现类 去执行yyy方法, 再把返回值传给客户端
  4. 代理类收到返回值, 即完成了一次RPC调用
    可见, 客户端只知道一个服务接口, 不知道具体实现类

项目需要改进的地方:

  1. 注册服务时使用SPI机制(服务发现机制)

  2. 使用享元设计模式 基于Thread(或Future)自定义一个线程池

  3. 补充负载均衡器的实现: 加权随机、加权轮循、哈希

  4. 轮询负载均衡时有分布式并发原子性安全问题, 可以使用ZooKeeper分布式锁

  5. 在访问ZooKeerper得到服务端ipList时, 若有某个ip不可用, 则进行跳过此ip 并将其移除ipList

  6. 链路追踪功能

    把每一个 客户端访问者的ip+访问的服务+访问方法+访问时间+访问耗时 都记录下来, 基于AOP进行日志打印

    如果访问耗时太久, 就记录到慢查询日志里

  7. 熔断功能, 若某个请求处理时长过长, 则进行服务熔断(基于Future实现的线程池有cancel方法, 可以进行终止正在运行的任务)

  8. 服务端使用阻塞队列接受客户端请求, 客户端请求带上priority字段

  9. 使用Netty作为通信框架

改进后, 项目亮点:

  1. 使用享元设计模式 基于Thread(或Future)自定义一个线程池
  2. 多种负载均衡器
  3. 多种序列化方式
  4. 自定义传输协议处理TCP粘包问题, 进行封包, 拆包

面试题:

为什么有了HTTP, 还要去用RPC?

二者不是同一个层级的东西, HTTP是网络协议, 而RPC是一种设计方案, 一种概念, 使调用远程API就像调本地方法一样简单便捷

为什么RPC不用HTTP而是去用TCP?

HTTP一般应用于 浏览器-服务端 的B/S架构, 为普通用户的浏览器 和 服务器 间提供通信, 用于对外的异构环境

TCP一般应用于 两台主机间Java进程间的通信, 用于公司内部的服务调用

  1. 空间占用:

    HTTP1.1协议的TCP报文包含一些无用信息, 如: html标签,浏览器类型, 两台主机间Java进程间的通信 根本用不到这些东西

    HTTP/1.0 200 OK  
Content-Type: text/plain 
Content-Length: 137582 
Expires: Thu, 05 Dec 1997 16:00:00 GMT 
Last-Modified: Wed, 5 August 1996 15:55:28 GMT 
Server: Apache 0.84 
 
<html> 
  <body>Hello World</body> 
</html>

  2. 性能消耗:

    HTTP，大部分是通过 json 来实现的，效率低些

    TCP，可以基于各种序列化框架进行，效率高些

  3. 跨平台：

    HTTP：通常要求 客户端和服务器 为统一平台

    TCP： 可以在各种异构系统上运行

  4. HTTP连接的开销:

    增加了HTTP 连接的 建立 与 断开 的开销

hellosrc2023
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MyRPC:一个易用、实用、高可用的分布式RPC框架，基于netty，Protostuff，Zookeeper，Quartz等框架
04-26
一、背景 dubbo在开源rpc界是无敌的存在，稳定，用户多，但是在某些领域，例如javase，非web场景，或者不使用spring的场景，就急需一个轻量级别的rpc框架，于是MyRPC就这样被背景下诞生了, 二、简介 MyRPC是一个可用于生产环境的轻量级，高可用，高性能，高易用分布式远程调用框架，参考dubbo的设计，是一个五脏俱全的简易版dubbo,支持同步调用，异步调用，服务自动注册，定时调度系统等。 1.架构 2.特性： 连通性 注册中心负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互，注册中心不转发请求，压力较小，服务提供者向注册中心注册其提供的服务，服务消费者向注册中心获取服务提供者地址列表，并根据负载算法直接调用提供者 注册中心通过长连接感知服务提供者的存在，服务提供者宕机，注册中心将立即推送事件通知消费者 健壮性 注册中心对等集群，任意
MyRPC版本1
冬日追梦少年的博客
02-09 274
RPC是指远程过程调用，也就是说两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用数据
探索`MyRPCFromZero`: 从零构建你的高性能RPC框架
gitblog_00054的博客
04-02 340
探索MyRPCFromZero: 从零构建你的高性能RPC框架 项目地址:https://gitcode.com/he2121/MyRPCFromZero 在这个数字化的时代，高效、可靠的远程过程调用（RPC）框架是构建大规模分布式系统的关键。今天，我们要带你了解一个名为MyRPCFromZero的独特项目，它由开源社区的开发者he2121精心打造，旨在帮助开发者从头开始理解并实现RPC框架。 项...
【重复造轮子系列】手撸RPC（三）：服务注册
仔哥学编程
08-19 868
在上一篇文章中我们讲述来一次RPC请求的流程，并且编写了一个简单的服务端和消费端的Netty通信Demo，既然现在可以通信了，那么接下来我们就要开始尝试调用接口了。
核心项目：MyRPC——基于Java语言实现的RPC框架
燕双嘤
09-05 7952
RPC：Remote Procedure Call，即远程过程调用。远程过程调用是一种像调用本地过程一样调用远程机器上的过程，而不需要了解网络细节的远程过程访问支持机制。 由于基于套接字的开发方式，因此带来了开发繁琐和排错困难的问题。
myRpc
Tzecto
05-20 253
文章目录集群和分布式集群单机服务器切换到集群服务器所有服务器共同构成一个聊天系统集群和分布式分布式问题RPC通信原理protobuf的使用从业务出发谈怎么使用一个框架定义protobuf，然后生成相关代码本地服务怎么发布成RPC服务框架使用MprpcApplicationRpcProvider这里使用ServiceInitprovider+channelRpcProvider的网络服务在rpc上面发布服务-map表接受一个rpc调用请求的时候，它怎么知道要调用应用程序的哪个服务对象的哪个rpc方法呢？请求的
MyRPC版本3
冬日追梦少年的博客
02-09 536
RPC是指远程过程调用，也就是说两台服务器A，B，一个应用部署在A服务器上，想要调用B服务器上应用提供的函数/方法，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语义和传达调用的数据
opengl.rar_opengl 轮子_opengl 轮胎_visual c
09-20
OpenGL，旋转的轮胎，会光源照射，发出光，特漂亮。
基于pytorch实现的yolo_v3
11-18
pytorch实现的yolo_v3，我们只造最精致的轮子！如果你在运行过程中有任何问题，都可以评论或者私信我。
利用原生JavaScript实现造日历轮子实例代码
10-17
主要给大家介绍了关于如何利用原生JavaScript实现造日历轮子的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用JavaScript具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
My-RPC-Framework:一个简单的RPC框架的实现
04-14
My-RPC-Framework My-RPC-Framework 是一款基于 Nacos 实现的 RPC 框架。网络传输实现了基于 Java 原生 Socket 与 Netty 版本，并且实现了多种序列化与负载均衡算法。 架构 消费者调用提供者的方式取决于消费者的客户端选择，如选用原生 Socket 则该步调用使用 BIO，如选用 Netty 方式则该步调用使用 NIO。如该调用有返回值，则提供者向消费者发送返回值的方式同理。 特性 实现了基于 Java 原生 Socket 传输与 Netty 传输两种网络传输方式 实现了四种序列化算法，Json 方式、Kryo 算法、Hessian 算法与 Google Protobuf 方式（默认采用 Kryo方式序列化） 实现了两种负载均衡算法：随机算法与轮转算法 使用 Nacos 作为注册中心，管理服务提供者信息 消费端如采用 Netty 方式，
jsonrpc:基于原生RPC库的HTTP JSON RPC模块
06-11
项目介绍 Go语言作为面向服务端编程的语言，其标准库中自带了功能完整的RPC模块，但是这个模块用的是gob格式传输数据，当开发Go程序间通讯时是很好用的，但是要让Go之外的别的编程语言解析gob格式就很麻烦了。 夸语言通讯首选的当然是XML或者JSON之类的文本协议，而Go内置的JSON RPC模块，只实现了协议解析部分，没有实现传输的部分。要用之前还得自己实现一整套接口注册、连接处理、请求解析，实在是麻烦。 真有趣团队的项目中用到了JSON RPC，我们用了一个比较取巧的办法，尽量利用Go自带模块的代码来实现一套完整的JSON RPC服务端和客户端，并对应实现了一个PHP客户端. 效果演示 下面是这个JSON RPC模块的用法示例。 GO代码如下： package main import ( "fmt" "github.com/funny/jsonrpc" "log" "net/
myRpc一个极简单的RPC框架
10-20
一个自己实现的极为简单的RPC框架，可以用来做Hessian等技术框架研究的参考。
myrpc
02-21
myrpc
20 其实不用造轮子—Executor框架详解.pdf
06-15
Java并发编程学习宝典（漫画版），Java并发编程学习宝典（漫画版）Java并发编程学习宝典（漫画版）Java并发编程学习宝典（漫画版）Java并发编程学习宝典（漫画版）Java并发编程学习宝典（漫画版）Java并发编程学习...
JavaScript_天天造轮子手写面试常见源码.zip
最新发布
05-20
JavaScript
探索高效远程调用：MyRPC - 简单、快速、可扩展
gitblog_00043的博客
04-23 404
探索高效远程调用：MyRPC - 简单、快速、可扩展 项目地址:https://gitcode.com/Sniper2016/MyRPC 项目简介 MyRPC 是一个轻量级的、高性能的Java RPC（远程过程调用）框架，旨在简化分布式系统间的通信。通过MyRPC，开发者可以像调用本地方法一样调用远端服务，极大地提高了开发效率并降低了复杂性。 技术分析 MyRPC的核心特性包括： 基于HTTP...
手写一个RPC框架（造轮子）
q952194436的博客
12-16 3475
偶然间看到一个RPC的框架项目，感觉与其他的项目与众不同，所以准备跟着实现一下。由于教程比较少，因此写下这边记录，慢慢踩坑。既然是重复造轮子，自然是以学习框架与组件的运用为主。 1 涉及的知识点 RPC的概念及运作流程。 RPC协议及RPC框架的概念。 Netty的基本使用，修复高并发情况下，netty导致的内存泄漏问题。 Java序列化以及反序列化，protobuf和kryo序列化协议，配置即用。 Zookeeper作为注册中心的基本使用。 自定义注释实现特殊业务逻辑 Java动态代理 自定义Sprin
手写RPC框架之网络传输协议设计及实现
嗷嗷嗷嗷的博客
12-10 619
本文主要介绍my-rpc框架中网络传输数据的格式设计，以及如何在发送和接收数据的过程中进行的编解码过程。 网络传输协议设计 数据在网络中是以字节（二进制）的形式传输的，要让通信的双方都能正确的接收对方发送的信息，一定要定义好数据格式，要让对方知道如何解析，从哪一位开始到哪一位代表什么含义，数据的总长度是多少，以避免多读或少读发生解析错误和粘包等问题。 参考TCP协议对TCP数据包的设计，以下是my-rpc框架设计的网络传输的数据包（my-rpc-package）格式，分为header和body两部分：
文本编辑器造轮子值得吗
05-12
造轮子是一种非常有价值的学习方法。通过自己亲手实现一些常用的工具或者框架，可以帮助我们深入理解其背后的原理和细节。同时，也可以提高我们的编程技能和解决问题的能力。 对于文本编辑器来说，如果你想深入理解其内部实现，或者想定制一些特殊的功能，那么自己造一个轮子是非常有价值的。但如果你只是想使用一个好用的文本编辑器，那么使用已经存在的成熟工具可能更加高效和可靠。 总的来说，造轮子并不是一定要做的事情，但如果你有兴趣和时间，可以尝试一下，这对于提升自己的技能和能力是很有帮助的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值