golang学习4：Protobuf

说明

Protobuf是Protocol Buffer的简称，它是Google公司于2008年开源的一种高效的平台无关、语言无关、可扩展的数据格式，目前Protobuf作为接口规范的描述语言，可以作为Go语言RPC接口的基础工具。

既然语言无关，那么怎么描述我们的数据的各个字段呢？

编码和解码怎么弄呢，手工写很头大啊？

第一个问题的答案就是使用一种语言无关的IDL脚本语言来定义数据格式，具体见《Protobuf3 语法指南》。

第二个问题的答案就是用一个工具作为中介，使用IDL为各种语言生成编码解码的源码，把繁琐无趣的过程自动化，这个工具就是protoc。

安装protoc

protoc是protobuf的编译器，能够把IDL文件变成各种编程语言的定义。
到https://github.com/protocolbuffers/protobuf/releases下载一个自制的环境适用的版本，比如我的是64位Linux系统，我下载了一个protoc-3.15.7-linux-x86_64.zip，解压后把protoc放到/usr/bin目录下了。

安装protoc-gen-go

如果没有protoc-gen-go，使用protoc生成go文件的时候会报错：

$ protoc --go_out=. ./person.proto
protoc-gen-go: program not found or is not executable
Please specify a program using absolute path or make sure the program is available in your PATH system variable
--go_out: protoc-gen-go: Plugin failed with status code 1.

protoc-gen-go是protoc生成go语言文件时候的插件，所以我们还要安装它。
安装方式：

$ go get -u github.com/golang/protobuf/protoc-gen-go
$ cd $GOPATH/pkg/mod/github.com/golang/protobuf@v1.5.2/protoc-gen-go
$ go install //编译二进制文件，这时会生成二进制文件，保存到$GOPATH/bin/
$ cd $GOPATH/bin/
$ sudo cp protoc-gen-go /usr/sbin/

编写IDL代码并生成go文件

参照李文周老师的博客，proto文件如下，保存文件名为person.proto。

// 指定使用protobuf版本
// 此处使用v3版本
syntax = "proto3";

// 包名，通过protoc生成go文件
package address;

// 性别类型
// 枚举类型第一个字段必须为0
enum GenderType {
    SECRET = 0;
    FEMALE = 1;
    MALE = 2;
}

// 人
message Person {
    int64 id = 1;
    string name = 2;
    GenderType gender = 3;
    string number = 4;
}

// 联系簿
message ContactBook {
    repeated Person persons = 1;
}

但是我用protoc生成go文件的是还还是报错了：

$ protoc   --go_out=. ./person.proto
protoc-gen-go: unable to determine Go import path for "person.proto"

Please specify either:
        • a "go_package" option in the .proto source file, or
        • a "M" argument on the command line.

See https://developers.google.com/protocol-buffers/docs/reference/go-generated#package for more information.

--go_out: protoc-gen-go: Plugin failed with status code 1.

是因为在 proto3 的语法中缺少了 option go_package。

解决方法就是在proto文件里的syntax下面添加option信息

option go_package = "path;name";

path 表示生成的go文件的存放地址，会自动生成目录的。
name 表示生成的go文件所属的包名。

所以我在proto文件里syntax下添加了一行：

// 指定使用protobuf版本
// 此处使用v3版本
syntax = "proto3";
//生成在当前目录的proto目录下，包名为person
option go_package = "./proto;person";

// 包名，通过protoc生成go文件， 这里和go_package重复了且不起作用，所以可是注释掉了
//package address;

// 性别类型
// 枚举类型第一个字段必须为0
enum GenderType {
    SECRET = 0;
    FEMALE = 1;
    MALE = 2;
}

// 人
message Person {
    int64 id = 1;
    string name = 2;
    GenderType gender = 3;
    string number = 4;
}

// 联系簿
message ContactBook {
    repeated Person persons = 1;
}

再来一次：

$ protoc --go_out=. person.proto
$ ls proto/
person.pb.go

终于生成了go文件。

但是有些奇怪，不写go_package会报错，写了go_package指定了保存的目录和包名，就覆盖了proto文件里package的效果。而且–go_out不能省略，但是它又没效果，实际生成文件的保存目录是go_package字段指定的。这很矛盾，不知道是不是protoc设计的问题。

无论如何，终于成了。

安装其他的依赖包

因为测试代码还依赖其它的包，先来安装下，再测试。

$ go get github.com/golang/protobuf/proto
$ go get google.golang.org/protobuf/reflect/protoreflect
$ go get google.golang.org/protobuf/runtime/protoimpl

$ 注意我的module名称是test_protoc欧！！
$ cat go.mod
module test_protoc

go 1.16

require (
        github.com/golang/protobuf v1.5.2 // indirect
        google.golang.org/protobuf v1.26.0 // indirect
)

测试代码

上面生成的go文件里，生成的Person对应定义格式为：

// 人
type Person struct {
	state         protoimpl.MessageState
	sizeCache     protoimpl.SizeCache
	unknownFields protoimpl.UnknownFields

	Id     int64      `protobuf:"varint,1,opt,name=id,proto3" json:"id,omitempty"`
	Name   string     `protobuf:"bytes,2,opt,name=name,proto3" json:"name,omitempty"`
	Gender GenderType `protobuf:"varint,3,opt,name=gender,proto3,enum=GenderType" json:"gender,omitempty"`
	Number string     `protobuf:"bytes,4,opt,name=number,proto3" json:"number,omitempty"`
}

除了我们定义的成员，还有几个其它的成员。

来试试怎么利用生成的代码来序列化和反序列化。需要在代码里导入我们刚刚生成的代码。

package main

import (
	"fmt"
	"io/ioutil"
	"github.com/golang/protobuf/proto"
	"test_protoc/proto"  //把前面生成的文件导入进来
)

// protobuf demo

func main() {
	var cb person.ContactBook

	p1 := person.Person{
		Name:   "yuanlulu",
		Gender: person.GenderType_MALE,
		Number: "1234556",
	}
	fmt.Println(p1)
	cb.Persons = append(cb.Persons, &p1)
	// 序列化
	data, err := proto.Marshal(&p1)
	if err != nil {
		fmt.Printf("marshal failed,err:%v\n", err)
		return
	}
	fmt.Println("write into ./proto.dat")
	//序列化之后的内容可以认为是二进制的了，比较适合网络传输了。这里用写文件的方式来模拟下
	ioutil.WriteFile("./proto.dat", data, 0644)

    //读出上面序列化的内容，模拟从网络接收到的消息
	data2, err := ioutil.ReadFile("./proto.dat")
	if err != nil {
		fmt.Printf("read file failed, err:%v\n", err)
		return
	}
	var p2 person.Person
	// 反序列化
	proto.Unmarshal(data2, &p2)
	fmt.Println("read out:>")
	fmt.Println(p2)
}

执行的结果：

$ go run main.go
{{{} [] [] <nil>} 0 [] 0 yuanlulu MALE 1234556}
write into ./proto.dat
read out:>
{{{} [] [] 0xc00011e580} 0 [] 0 yuanlulu MALE 1234556}

之所以值前面有其他字符，是因为我们生成的person.pb.go里，除了我们定义的成员，还有几个其它的成员。

看了下磁盘上proto.dat文件大大小是21字节，还是比较紧凑的。

参考资料

protobuf初识

gRPC快速入门

Protobuf3 语法指南

protoc WARNING: Missing ‘go_package‘ option