从Protocol Buffers 到 gRPC
标签: ProtoBuf gRPC HTTP/2
我们项目中准备使用Protocol Buffers来进行服务器和客户端的消息交互,采用gRPC开源框架,服务器使用Java,客户端有Android和iOS。
一、Protocol Buffers
Protocol Buffers是google的一个开源项目,它是用于结构化数据串行化的灵活、高效、自动的方法,例如XML/JSON,不过它比XML/JSON更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。
1. 文档
关于Protocol Buffers的语法、使用、源码、编译方法等,可参考以下官方链接:
Protocol Buffers 使用指南
Protocol Buffers 源码 on Github
2. 使用
2.1 定义一个消息类型 (官方例子)
// [START declaration]
syntax = "proto3";
package tutorial;
// [END declaration]
// [START java_declaration] protoc编译后生成的java包结构名以及外部调用类名
option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";
// [END java_declaration]
// [START csharp_declaration]
option csharp_namespace = "Google.Protobuf.Examples.AddressBook";
// [END csharp_declaration]
// [START messages]
message Person {
string name = 1;
int32 id = 2; // Unique ID number for this person.
string email = 3;
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
message PhoneNumber {
string number = 1;
PhoneType type = 2;
}
repeated PhoneNumber phones = 4;
}
// Our address book file is just one of these.
message AddressBook {
repeated Person people = 1;
}
// [END messages]
2.2 字段限制
字段限制共有3类:
required:必须赋值的字段(proto3中不声明的字段默认为required) 。
optional:可有可无的字段。
repeated:可重复字段(变长字段),类似于数组。
由于一些历史原因,repeated字段并没有想象中那么高效,新版本中允许使用特殊的选项来获得更高效的编码:
repeated int32 samples = 4 [packed=true];
2.3 Tags
我们从message的定义看到,消息中的每一个字段后面都跟着一个数值。而这个数值作为这个字段在message中的唯一标示(Tag),序列化时相当于key-value键值对中的key。
在使用时应该将1-15留给频繁使用的字段,因为1-15使用一个字节编码,16-2047使用2个字节编码。可以指定的最小的Tag为 1 ,最大为
2.4 具体使用
编写好proto文件后将其编译成对应语言的类文件(下面会讲解使用protoc编译),具体调用我们以Java为例,大致如下:
// 新建一个Person对象
Person kido =
Person.newBuilder()
.setId(1234)
.setName("Kido")
.setEmail("everlastxgb@gmail.com")
.addPhone(
Person.PhoneNumber.newBuilder()
.setNumber("10086")
.setType(Person.PhoneType.HOME))
.build();
// 写对象
OutputStream outputStream;
//...
kido.writeTo(outputStream);
// 读对象
byte[] data;
InputStream inputStream;
//...
Person.parseFrom(data).toBuilder();
// or
Person.parseFrom(inputStream).toBuilder();
……
更多的使用和说明,请查看相关官方说明文档,此处不再赘述… 下面来讲一下protoc源码的编译以及使用。
3. Protoc源码的编译以及使用
3.1 安装ProtocolBuffer工具
3.1.1 下载源码
git clone git@github.com:google/protobuf.git
注: 也可以从protobuf/releases下载最新的release代码。
3.1.2 执行自动化脚本
下载完成后cd到工程目录下,运行autogen脚本。
PB依赖autoconf、automake、libtool、curl,在各个平台上安装这些依赖即可。比如在mac上,用brew安装:
(如果你的mac没安装brew,那么请先安装brew,其实也很简单,如下,命令行执行以下脚本)。
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安装brew成功后使用”brew install”就可以很方便安装我们想要的其它套件了。
brew install autoconf automake libtool curl
安装完成后执行以下脚本:
./autogen.sh
在运行这个脚本的时候,如果遇到gmock下载被墙的问题,点击这个地址手动下载即可: gmock-1.7.0.zip 下载之后,将它丢到源代码目录即可。同时将脚本中的
# curl $curlopts -O https://googlemock.googlecode.com/files/gmock-1.7.0.zip
注释掉再执行即可。
3.1.3 编译
$ ./configure
$ make
$ make check
$ sudo make install
查看是否安装完毕