golang如何使用原生RPC及微服务简述

golang如何使用原生RPC及微服务简述

微服务

1. 微服务是什么

• 使用一套小服务来开发单个应用的方式，每个服务运行在独立的进程里，一般采用轻量级的通讯机制互联，并且它们可以通过自动化的方式部署

微服务是设计思想，不是量的体现

• 专一的功能
• 代码量并不少
• 架构变复杂

2. 特点是啥

• 专一的职责，例如专注于权限管理
• 轻量级的通信，通信与平台和语言无关，例如http是轻量的
• 隔离性，数据隔离
• 有自己的数据
• 技术多样

3. 微服务架构的优势

• 独立性
• 使用者容易理解
• 技术栈灵活
• 高效团队

4. 微服务架构的不足

• 额外的工作，服务的拆分
• 保证数据一致性
• 增加了沟通成本

微服务生态

1. 硬件层

• 用docker+k8s去解决

2. 通信层

• 网络传输，用RPC（远程过程调用）

  • HTTP传输，GET POST PUT DELETE
  • 基于TCP，更靠底层，RPC基于TCP，Dubbo（18年底改成支持各种语言），Grpc，Thrift

• 需要知道调用谁，用服务注册和发现

  • 需要分布式数据同步：etcd，consul，zk

• 数据传递这里面可能是各种语言，各种技术，各种传递

数据传输协议选型建议

1、对于公司间的系统调用，如果性能要求在100ms以上的服务，基于XML的SOAP协议是一个值得考虑的方案。

2、对于调试环境比较恶劣的场景，采用JSON或XML能够极大的提高调试效率，降低系统开发成本。

3、当对性能和简洁性有极高要求的场景，Protobuf，Thrift，Avro之间具有一定的竞争关系。

4、对于T级别的数据的持久化应用场景，Protobuf和Avro是首要选择。如果持久化后的数据存储在Hadoop子项目里，Avro会是更好的选择。

5、如果需要提供一个完整的RPC解决方案，Thrift是一个好的选择。

6、如果序列化之后需要支持不同的传输层协议，或者需要跨防火墙访问的高性能场景，Protobuf可以优先考虑。

RPC 机制和实现过程

1. RPC机制

服务间通过轻量级的远程过程调用，一般使用HTTP，RPC

• HTTP调用应用层协议，结构相对固定
• RPC的网络协议就相对灵活，并且可以定制

RPC远程过程调用，一般采用C/S 模式，客户端服务器模式，客户端进程，调用服务端进程的程序，服务端进程执行结果返回给客户端，客户端从阻塞状态被唤醒，接收数据，提取数据。

上述过程中，客户端调用服务器的函数，来执行任务，它不知道操作是在本地操作系统进行，还是通过远程过程调用进行的，全程无感。

RPC的基本通信如下：

RPC远程过程调用，需要考虑的问题有如下四点：

• 参数传递
• 通信协议机制
• 出错处理
• 超时处理

2. 参数传递

• 值传递

一般默认是值传递，只需要将参数中的值复制到网络消息中的数据中即可

• 引用传递

比较困难，单纯传递参数的引用是完全没有用意义的，因为引用的地址给到远端的服务器，服务器上的该内存地址完全不是客户端想要的数据，若非要这样处理，客户端还必须把数据的副本传递给到远端服务器，并将它们放到远端服务器内存中，服务器复制引用的地址后，即可进行数据的读取。

可是上述做法很麻烦，且很容易出错，一般RPC不支持直接传递引用

• 数据格式统一问题

需要有一个标准来对所有数据类型进行编解码 ，数据格式可以有隐式类型和显式类型

• 隐式类型

只传递值，不传递变量的名称或 类型

• 显式类型

传递字段的类型和值

常见的传输数据格式有：

• ISO标准的ASN.1
• JSON
• PROTOBUF
• XML

3. 通信协议机制

广义上的协议栈分为共有协议和私有协议

• 共有协议

例如HTTP，SMPP，WEBSERVICE都是共有协议，拥有通用型上，公网传输的能力上 有优势

• 私有协议

内部约定而成的协议，弊端多，但是可以高度的定制化，提升性能，降低成本，提高灵活性和效率。企业内部往往采用私有协议开发

对于协议的制定需要考虑如下5个方面：

• 协议设计

需要考虑哪些问题

• 私有协议的编解码

需要有业务针对性的编解码方式方法，如下有案例

• 命令的定义和命令处理器的选择

协议的过程一般会有2种

1. 负载命令

传输业务具体的数据，如请求参数，响应结果的命令

2. 控制命令

一般为功能管理命令，如心跳命令等

• 命令的协议

一般是使用序列化协议，不同的协议在编码效率和传输效率上都不相同，如

• 通信模式

1. oneway – 不关心响应，请求线程不会被阻塞
2. sync – 调用会被阻塞，知道返回结果为止
3. future – 调用时不会阻塞县线程，获取结果的时候会阻塞线程
4. callback – 异步调用，不会阻塞线程

出错处理和超时处理

远程过程调用相对本地过程调用出错的概率更大，因此需要考虑到调用失败的各种场景：

• 服务端出错，需要如何处理
• 客户端请求服务时候出现错误或者超时，需要设置合适的重试机制

4. 简易GO语言原生RPC

大概分为如下4个步骤：

• 设计数据结构和方法

• 实现方法

• 注册服务

• 客户端连接服务端，调用服务端的方法

  往下看有golang如何使用原生rpc的案例

rpc调用和服务监控

• RPC相关内容
  • 数据传输：JSON Protobuf thrift
  • 负载：随机算法 轮询 一致性hash 加权
  • 异常容错：健康检测 熔断 限流
• 服务监控
  • 日志收集
  • 打点采样

1. RPC简介

• 远程过程调用（Remote Procedure Call，RPC）是一个计算机通信协议
• 该协议允许运行于一台计算机的程序调用另一台计算机的子程序，而程序员无需额外地为这个交互作用编程
• 如果涉及的软件采用面向对象编程，那么远程过程调用亦可称作远程调用或远程方法调用

2. RPC调用流程

一般情况下，我们会将功能代码在本地直接调用，微服务架构下，我们需要将这个函数作为单独的服务运行，客户端通过网络调用

• 微服务架构下数据交互一般是对内 RPC，对外 REST
• 将业务按功能模块拆分到各个微服务，具有如下优点
  • 提高项目协作效率
  • 降低模块耦合度
  • 提高系统可用性
• 有如下缺点：
  • 开发门槛比较高，比如 RPC 框架的使用、后期的服务监控等工作

3.rpc golang 原生处理方式

最简单的golang原生rpc的使用

golang官方的net/rpc库使用encoding/gob进行编解码，支持tcp和http数据传输方式

server1.go

package main

import (
   "log"
   "net/http"
   "net/rpc"
)

type Happy struct{
   }

// 计算happy
func (r *Happy) CalHappy(num int, ret *int) error {
   
   *ret = num * 10
   return nil
}

// 主函数
func main() {
   
   // new一个服务
   ha := new(Happy)
   // 注册一个Happy的服务
   rpc.Register(ha)
   // 服务处理绑定到http协议上
   rpc.HandleHTTP()
   // 监听服务
   err := http.ListenAndServe(":9999", nil)
   if err != nil {
   
      log.Panicln(err)
   }
}

client1.go

package main

import (
   "fmt"
   "log"
   "net/rpc"
)

// 主函数
func main() {
   
   //连接远程rpc服务
   conn, err := rpc.DialHTTP("tcp", ":9999")
   if err != nil {
   
      log.Fatal(err)
   }
   // 调用服务器方法
   ret := 0
   err2 := conn.Call("Happy.CalHappy", 10, &ret)
   if err2 != nil {
   
      log.Fatal(err2)
   }
   fmt.Println("开心指数：", ret)
}

结果

golang使用jsonrpc

jsonrpc采用JSON进行数据编解码，支持跨语言调用，jsonrpc库是基于tcp协议实现的，暂不支持http传输方式

server2.go

package main

import (
   "fmt"
   "log"
   "net"
   "net/rpc"
   "net/rpc/jsonrpc"
)

type Happy struct{
   }

// 计算happy
func (r *Happy) CalHappy(num int, ret *int) error {
   
   *ret = num * 10
   return nil
}

// 主函数
func main() {
   
   // new一个服务
   ha := new(Happy)
   // 注册一个Happy的服务
   rpc.Register(ha)
   // 监听服务
   listen, err := net.Listen("tcp", ":9999")
   if err != nil {
   
      log.Panicln(err)
   }
   // 处理请求
   for {
   
      con, err := listen.Accept()
      if err != nil {