golang如何使用原生RPC及微服务简述
微服务
1. 微服务是什么
- 使用一套小服务来开发单个应用的方式,每个服务运行在独立的进程里,一般采用轻量级的通讯机制互联,并且它们可以通过自动化的方式部署
微服务是设计思想,不是量的体现
- 专一的功能
- 代码量并不少
- 架构变复杂
2. 特点是啥
- 专一的职责,例如专注于权限管理
- 轻量级的通信,通信与平台和语言无关,例如http是轻量的
- 隔离性,数据隔离
- 有自己的数据
- 技术多样
3. 微服务架构的优势
- 独立性
- 使用者容易理解
- 技术栈灵活
- 高效团队
4. 微服务架构的不足
- 额外的工作,服务的拆分
- 保证数据一致性
- 增加了沟通成本
微服务生态
1. 硬件层
- 用docker+k8s去解决
2. 通信层
-
网络传输,用RPC(远程过程调用)
- HTTP传输,GET POST PUT DELETE
- 基于TCP,更靠底层,RPC基于TCP,Dubbo(18年底改成支持各种语言),Grpc,Thrift
-
需要知道调用谁,用服务注册和发现
- 需要分布式数据同步:etcd,consul,zk
-
数据传递这里面可能是各种语言,各种技术,各种传递
数据传输协议选型建议
1、对于公司间的系统调用,如果性能要求在100ms以上的服务,基于XML的SOAP协议是一个值得考虑的方案。
2、对于调试环境比较恶劣的场景,采用JSON或XML能够极大的提高调试效率,降低系统开发成本。
3、当对性能和简洁性有极高要求的场景,Protobuf,Thrift,Avro之间具有一定的竞争关系。
4、对于T级别的数据的持久化应用场景,Protobuf和Avro是首要选择。如果持久化后的数据存储在Hadoop子项目里,Avro会是更好的选择。
5、如果需要提供一个完整的RPC解决方案,Thrift是一个好的选择。
6、如果序列化之后需要支持不同的传输层协议,或者需要跨防火墙访问的高性能场景,Protobuf可以优先考虑。
RPC 机制和实现过程
1. RPC机制
服务间通过轻量级的远程过程调用,一般使用HTTP,RPC
- HTTP调用应用层协议,结构相对固定
- RPC的网络协议就相对灵活,并且可以定制
RPC远程过程调用,一般采用C/S 模式,客户端服务器模式,客户端进程,调用服务端进程的程序,服务端进程执行结果返回给客户端,客户端从阻塞状态被唤醒,接收数据,提取数据。
上述过程中,客户端调用服务器的函数,来执行任务,它不知道操作是在本地操作系统进行,还是通过远程过程调用进行的,全程无感。
RPC的基本通信如下:
RPC远程过程调用,需要考虑的问题有如下四点:
- 参数传递
- 通信协议机制
- 出错处理
- 超时处理
2. 参数传递
- 值传递
一般默认是值传递,只需要将参数中的值复制到网络消息中的数据中即可
- 引用传递
比较困难,单纯传递参数的引用是完全没有用意义的,因为引用的地址给到远端的服务器,服务器上的该内存地址完全不是客户端想要的数据,若非要这样处理,客户端还必须把数据的副本传递给到远端服务器,并将它们放到远端服务器内存中,服务器复制引用的地址后,即可进行数据的读取。
可是上述做法很麻烦,且很容易出错,一般RPC不支持直接传递引用
- 数据格式统一问题
需要有一个标准来对所有数据类型进行编解码 ,数据格式可以有隐式类型
和显式类型
- 隐式类型
只传递值,不传递变量的名称或 类型
- 显式类型
传递字段的类型和值
常见的传输数据格式有:
- ISO标准的ASN.1
- JSON
- PROTOBUF
- XML
3. 通信协议机制
广义上的协议栈分为共有协议
和私有协议
- 共有协议
例如HTTP,SMPP,WEBSERVICE都是共有协议,拥有通用型上,公网传输的能力上 有优势
- 私有协议
内部约定而成的协议,弊端多,但是可以高度的定制化,提升性能,降低成本,提高灵活性和效率。企业内部往往采用私有协议开发
对于协议的制定需要考虑如下5个方面:
- 协议设计
需要考虑哪些问题
- 私有协议的编解码
需要有业务针对性的编解码方式方法,如下有案例
- 命令的定义和命令处理器的选择
协议的过程一般会有2种
- 负载命令
传输业务具体的数据,如请求参数,响应结果的命令
- 控制命令
一般为功能管理命令,如心跳命令等
- 命令的协议
一般是使用序列化协议,不同的协议在编码效率和传输效率上都不相同,如
- 通信模式
- oneway – 不关心响应,请求线程不会被阻塞
- sync – 调用会被阻塞,知道返回结果为止
- future – 调用时不会阻塞县线程,获取结果的时候会阻塞线程
- callback – 异步调用,不会阻塞线程
出错处理和超时处理
远程过程调用相对本地过程调用出错的概率更大,因此需要考虑到调用失败的各种场景:
- 服务端出错,需要如何处理
- 客户端请求服务时候出现错误或者超时,需要设置合适的重试机制
4. 简易GO语言原生RPC
大概分为如下4个步骤:
-
设计数据结构和方法
-
实现方法
-
注册服务
-
客户端连接服务端,调用服务端的方法
往下看有golang如何使用原生rpc的案例
rpc调用和服务监控
- RPC相关内容
- 数据传输:JSON Protobuf thrift
- 负载:随机算法 轮询 一致性hash 加权
- 异常容错:健康检测 熔断 限流
- 服务监控
- 日志收集
- 打点采样
1. RPC简介
- 远程过程调用(Remote Procedure Call,RPC)是一个计算机通信协议
- 该协议允许运行于一台计算机的程序调用另一台计算机的子程序,而程序员无需额外地为这个交互作用编程
- 如果涉及的软件采用面向对象编程,那么远程过程调用亦可称作远程调用或远程方法调用
2. RPC调用流程
一般情况下,我们会将功能代码在本地直接调用,微服务架构下,我们需要将这个函数作为单独的服务运行,客户端通过网络调用
- 微服务架构下数据交互一般是对内 RPC,对外 REST
- 将业务按功能模块拆分到各个微服务,具有如下优点
- 提高项目协作效率
- 降低模块耦合度
- 提高系统可用性
- 有如下缺点:
- 开发门槛比较高,比如 RPC 框架的使用、后期的服务监控等工作
3.rpc golang 原生处理方式
最简单的golang原生rpc的使用
golang官方的net/rpc库使用encoding/gob进行编解码,支持tcp和http数据传输方式
server1.go
package main
import (
"log"
"net/http"
"net/rpc"
)
type Happy struct{
}
// 计算happy
func (r *Happy) CalHappy(num int, ret *int) error {
*ret = num * 10
return nil
}
// 主函数
func main() {
// new一个服务
ha := new(Happy)
// 注册一个Happy的服务
rpc.Register(ha)
// 服务处理绑定到http协议上
rpc.HandleHTTP()
// 监听服务
err := http.ListenAndServe(":9999", nil)
if err != nil {
log.Panicln(err)
}
}
client1.go
package main
import (
"fmt"
"log"
"net/rpc"
)
// 主函数
func main() {
//连接远程rpc服务
conn, err := rpc.DialHTTP("tcp", ":9999")
if err != nil {
log.Fatal(err)
}
// 调用服务器方法
ret := 0
err2 := conn.Call("Happy.CalHappy", 10, &ret)
if err2 != nil {
log.Fatal(err2)
}
fmt.Println("开心指数:", ret)
}
结果
golang使用jsonrpc
jsonrpc采用JSON进行数据编解码,支持跨语言调用,jsonrpc库是基于tcp协议实现的,暂不支持http传输方式
server2.go
package main
import (
"fmt"
"log"
"net"
"net/rpc"
"net/rpc/jsonrpc"
)
type Happy struct{
}
// 计算happy
func (r *Happy) CalHappy(num int, ret *int) error {
*ret = num * 10
return nil
}
// 主函数
func main() {
// new一个服务
ha := new(Happy)
// 注册一个Happy的服务
rpc.Register(ha)
// 监听服务
listen, err := net.Listen("tcp", ":9999")
if err != nil {
log.Panicln(err)
}
// 处理请求
for {
con, err := listen.Accept()
if err != nil {