四. ProtoBuf认识与使用
4.1 protobuf简介
:::info
Protobuf是Protocol Buffers的简称,它是Google公司开发的一种数据描述语言,是一种轻便高效的结构化数据存储格式,可以用于结构化数据,或者说序列化。它很适合做 **数据存储 **或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。他是一
种灵活,高效,自动化的机制,用于序列化结构化数据,对比于 XML和JSON,他更小,更快、更简
单。总之他是微服务中需要使用的东西。
:::
:::info
Protobuf 刚开源时的定位类似于XML、JSON等数据描述语言,通过附带工具生成代码并实现将结构化数据序列化的功能。这里我们更关注的是Protobuf作为接口规范的描述语言,可以作为设计安全的跨语 言RPC接口的基础工具。
:::
需要了解两点
- protobuf是类似与json一样的数据描述语言(数据格式)
- protobuf非常适合于RPC数据交换格式
接着我们来看一下protobuf的优势和劣势:
优势:
1:序列化后体积相比Json和XML很小,适合网络传输
2:支持跨平台多语言
3:消息格式升级和兼容性很好
4:序列化反序列化速度很快,快于Json的处理速度
**劣势: **
1:应用不够广(相比xml和json)
2:二进制格式导致可读性差
3:缺乏自描述
我们先安装一下protobuf,然后通过例子来看一下protobuf的具体作用。
4.2 protobuf的安装
4.2.1 windows电脑上面安装protocol buffers
1、安装 protobuf
:::tips
https://github.com/protocolbuffers/protobuf
:::
如下载protobuf v3.15.5 的版本
:::info
下载protobuf https://github.com/protocolbuffers/protobuf/releases/tag/v3.15.5
这里我下载的 protoc-3.15.5-win64.zip
减压并将解压得到的文件中的bin目录路径添加到系统变量中
:::
查看版本
:::info
C:\Users\xxxx>protoc --version
libprotoc 3.15.2
:::
2、protobuf的go语言插件protoc-gen-go插件
go install github.com/golang/protobuf/protoc-gen-go@latest
4.2.2 Mac电脑上面安装protocol buffers
1、安装protobuf(方法一 推荐)
如果电脑上面没有brew先安装brew
brew install protobuf
2、安装protobuf(方法二)
如果电脑没有安装brew也可以使用下面方法安装
https://github.com/protocolbuffers/protobuf/releases
选择适合macos的protobuf,比如选择protoc-3.12.1-osx-x86_64.zip
解压包得到protoc-3.12.1-osx-x86_64
mv protoc-3.12.1-osx-x86_64 protobuf
配置环境变量
vim ~/.bash_profile
export PROTOBUF=/Users/nacos/Library/protobuf
export PATH=$PATH:$PROTOBUF/bin
配置完保存记得刷新下配置
source ~/.bash_profile
查看版本
protoc --version
**3、protobuf的go语言插件protoc-gen-go插件 **
go install github.com/golang/protobuf/protoc-gen-go@latest
安装完毕后如果提示没法使用protoc-gen-go,还需要把gopath对应的bin目录配置到环境变量
配置环境变量
vim ~/.bash_profile
export PATH=/Users/nacos/go/bin:$PATH
配置完保存记得刷新下配置
source ~/.bash_profile
4.2.3 测试protoc和protoc-gen-go是否全部配置成功
1、新建 test.proto 然后把下面代码复制过去
syntax = "proto3";
option go_package = "./protoService";
message Userinfo {
string name = 1;
int32 age = 2;
repeated string hobby = 3;
PhoneType phone=4;
}
2、使用下面命令把proto 文件生成go文件
protoc --go_out=./ *.proto
protoc --go_out=plugins=grpc:. *.proto
4.3 protobuf 简单语法
参考文档(需科学上网):https://developers.google.com/protocol-buffers/docs/proto3
首先让我们看一个非常简单的例子。
syntax = "proto3"; //指定版本信息,不指定会报错,默认是proto2
option go_package = "./proto;helloworld"; //分号前面的表示当前.proto文件所在的路径,
// 分号后面表示生成go文件的包名
// message定义一种消息类型,关键字message定义结构,并且结构中可以嵌套定义结构,message定义的内
// 容和生成一个结构体
message Person {
// 名字
string name = 1;
// 年龄
int32 age = 2 ;
//爱好
repeated string hobby = 3; // 数组 golang中会生成string类型的切片
}
protobuf 消息的定义(或者称为描述)通常都写在一个以 .proto 结尾的文件中。
该文件的第一行指定正在使用 proto3 语法:如果不这样做,协议缓冲区编译器将假定正在
使用proto2。这也必须是文件的第一个非空的非注释行。第二行 option go_package 指定生成go文件的目录以及包名称
最后message关键字定义一个Person消息体,类似于go语言中的结构体,是包含一系列类
型数据的集合。许多标准的简单数据类型都可以作为字段类型,包括 bool , int32 ,
float , double ,和 string 。也可以使用其他message类型作为字段类型。在message中有一个字符串类型的value成员,该成员编码时用1代替名字。我们知道,在
json中是通过成员的名字来绑定对应的数据,但是Protobuf编码却是通过成员的唯一编号来
绑定对应的数据,因此Protobuf编码后数据的体积会比较小,能够快速传输,缺点是不利于
阅读。
message的格式说明
消息由至少一个字段组合而成,类似于Go语言中的结构体,每个字段都有一定的格式:
//注释格式 注释尽量也写在内容上方
(字段修饰符)数据类型 字段名称 = 唯一的编号标签值;
唯一的编号标签:代表每个字段的一个唯一的编号标签,在同一个消息里不可以重复。这些
编号标签用与在消息二进制格式中标识你的字段,并且消息一旦定义就不能更改。需要说明
的是标签在1到15范围的采用一个字节进行编码,所以通常将标签1到15用于频繁发生的消
息字段。编号标签大小的范围是1到2的29次。19000-19999是官方预留的值,不能使用。注释格式:向.proto文件添加注释,可以使用C/C++/java/Go风格的双斜杠(//) 语法格式
或者 /…/
message常见的数据类型与go中类型对比
4.4 protobuf高级用法
protobuf除了上面的简单类型还有一些复杂的用法,如下:
message嵌套
messsage除了能放简单数据类型外,还能存放另外的message类型,如下:
syntax = "proto3"; //指定版本信息,不指定会报错
option go_package = "./proto;helloworld";
//message为关键字,作用为定义一种消息类型
message Person {
// 名字
string name = 1;
// 年龄
int32 age = 2 ;
//定义一个message
message PhoneNumber {
string number = 1;
int64 type = 2;
}
PhoneNumber phone = 3;
}
repeated关键字
repeadted关键字类似与go中的切片,编译之后对应的也是go的切片,用法如下:
syntax = "proto3"; //指定版本信息,不指定会报错
option go_package = "./proto;helloworld";
//message为关键字,作用为定义一种消息类型
message Person {
// 名字
string name = 1;
// 年龄
int32 age = 2 ;
// 定义一个message
message PhoneNumber {
string number = 1;
int64 type = 2;
}
repeated PhoneNumber phone = 3;
}
默认值
:::info
解析数据时,如果编码的消息不包含特定的单数元素,则解析对象对象中的相应字段将设置为该字段的
默认值。不同类型的默认值不同,具体如下:
对于字符串,默认值为空字符串。
对于字节,默认值为空字节。
对于bools,默认值为false。
对于数字类型,默认值为零。
对于枚举,默认值是第一个定义的枚举值,该值必须为0。
repeated字段默认值是空列表
message字段的默认值为空对象
:::
**enum关键字 **
在定义消息类型时,可能会希望其中一个字段有一个预定义的值列表。比如说,电话号码字段有个类
型,这个类型可以是,home,work,mobile。我们可以通过enum在消息定义中添加每个可能值的常量
来非常简单的执行此操作。实例如下:
syntax = "proto3"; //指定版本信息,不指定会报错
package pb; //后期生成go文件的包名
//message为关键字,作用为定义一种消息类型
message Person {
// 名字
string name = 1;
// 年龄
int32 age = 2 ;
//定义一个message
message PhoneNumber {
string number = 1;
PhoneType type = 2;
}
repeated PhoneNumber phone = 3;
}
//enum为关键字,作用为定义一种枚举类型
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
如上,enum的第一个常量映射为0,每个枚举定义必须包含一个映射到零的常量作为其第一个元
素。这是因为:
必须有一个零值,以便我们可以使用0作为数字默认值。
零值必须是第一个元素,以便与proto2语义兼容,其中第一个枚举值始终是默认值。
定义RPC服务
如果需要将message与RPC一起使用,则可以在 .proto 文件中定义RPC服务接口,protobuf编译器将
根据你选择的语言生成RPC接口代码。示例如下:
//定义RPC服务
service HelloService {
rpc Hello (Person)returns (Person);
}
定义一个RPC的服务
syntax = "proto3";
option go_package = "./service";
service Greeter {
rpc SayHello (HelloRequest) returns (HelloReply) {}
}
message HelloRequest {
string name = 1;
}
message HelloReply {
string message = 1;
}
//protoc --go_out=plugins=grpc:. *.proto
4.5 protobuf基本编译
protobuf编译是通过编译器protoc进行的,通过这个编译器,我们可以把.proto文件生成
go,Java,Python,C++, Ruby, JavaNano, Objective-C,或者C# 代码,生成命令如下:
protoc --proto_path=IMPORT_PATH --go_out=DST_DIR path/to/file.proto
- –proto_path=IMPORT_PATH,IMPORT_PATH是 .proto 文件所在的路径,如果忽略则默认
当前目录。如果有多个目录则可以多次调用–proto_path,它们将会顺序的被访问并执行导
入。- –go_out=DST_DIR, 指定了生成的go语言代码文件放入的文件夹
- 允许使用 protoc --go_out=./ *.proto 的方式一次性编译多个 .proto 文件
- go语言编译时,protobuf 编译器会把 .proto 文件编译成 .pd.go 文件
一般在使用的时候我们都是使用下面这种简单的命令:
protoc --go_out=./ *.proto
然后我们给这个 .proto 文件中添加一个RPC服务,再次进行编译,发现生成的go文件没有发生变化。
这是因为世界上的RPC实现有很多种,protoc编译器并不知道该如何为HelloService服务生成代码。不
过在protoc-gen-go内部已经集成了一个叫grpc的插件,可以针对grpc生成代码:
protoc --go_out=plugins=grpc:. *.proto
和我们优化之后的RPC服务有点相似,但是又不太一样,接下来就让我们来学习一下grpc框架。
4.6 protobuf 序列化反序列化
新建proto/test.proto
syntax = "proto3";
option go_package = "./protoService";
message Userinfo {
string name = 1;
int32 age = 2;
repeated string hobby = 3;
PhoneType phone=4;
}
//enum为关键字,作用为定义一种枚举类型
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
protoc --go_out=./ *.proto
protoc --go_out=plugins=grpc:. *.proto
main.go中实现序列化和反序列化
package main
import (
"fmt"
"protobufers/proto/protoService"
"google.golang.org/protobuf/proto"
)
func main() {
u := &protoService.Userinfo{
Username: "zhangsan",
Age: 20,
Hobby: []string{"吃饭", "睡觉", "写代码"},
}
fmt.Println(u.GetHobby())
// proto.Marshald对protoBufer进行序列化
data, err1 := proto.Marshal(u)
if err1 != nil {
fmt.Println(err1)
}
fmt.Println(data)
//proto.Unmarshal可以对protoBufer进行反序列化
info := protoService.Userinfo{}
err2 := proto.Unmarshal(data, &info)
if err2 != nil {
fmt.Println(err2)
}
fmt.Printf("%#v", info)
fmt.Println(info.GetHobby())
// protoc --go_out=./ *.proto
}