从Protocol Buffers 到 gRPC

从Protocol Buffers 到 gRPC

标签： ProtoBuf gRPC HTTP/2

我们项目中准备使用Protocol Buffers来进行服务器和客户端的消息交互，采用gRPC开源框架，服务器使用Java，客户端有Android和iOS。

---

---

一、Protocol Buffers

Protocol Buffers是google的一个开源项目,它是用于结构化数据串行化的灵活、高效、自动的方法，例如XML/JSON，不过它比XML/JSON更小、更快、也更简单。你可以定义自己的数据结构，然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。

1. 文档

关于Protocol Buffers的语法、使用、源码、编译方法等，可参考以下官方链接：

Protocol Buffers 使用指南
Protocol Buffers 源码 on Github

2. 使用

2.1 定义一个消息类型 （官方例子）

// [START declaration]
syntax = "proto3";
package tutorial;
// [END declaration]

// [START java_declaration] protoc编译后生成的java包结构名以及外部调用类名
option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";
// [END java_declaration]

// [START csharp_declaration]
option csharp_namespace = "Google.Protobuf.Examples.AddressBook";
// [END csharp_declaration]

// [START messages]
message Person {
  string name = 1;
  int32 id = 2;  // Unique ID number for this person.
  string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    string number = 1;
    PhoneType type = 2;
  }

  repeated PhoneNumber phones = 4;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person people = 1;
}
// [END messages]

2.2 字段限制

字段限制共有3类:

required:必须赋值的字段（proto3中不声明的字段默认为required） 。
optional:可有可无的字段。
repeated:可重复字段(变长字段),类似于数组。

由于一些历史原因,repeated字段并没有想象中那么高效,新版本中允许使用特殊的选项来获得更高效的编码:

repeated int32 samples = 4 [packed=true];

2.3 Tags

我们从message的定义看到，消息中的每一个字段后面都跟着一个数值。而这个数值作为这个字段在message中的唯一标示（Tag），序列化时相当于key-value键值对中的key。
在使用时应该将1-15留给频繁使用的字段，因为1-15使用一个字节编码，16-2047使用2个字节编码。可以指定的最小的Tag为$1$，最大为$2^{29}-1$(即$536,870,911$)，但是不能使用19000-19999之间的值，因为这些值是预留值，强行使用会导致编译失败。

2.4 具体使用

编写好proto文件后将其编译成对应语言的类文件（下面会讲解使用protoc编译），具体调用我们以Java为例，大致如下：

// 新建一个Person对象
Person kido =
  Person.newBuilder()
    .setId(1234)
    .setName("Kido")
    .setEmail("everlastxgb@gmail.com")
    .addPhone(
      Person.PhoneNumber.newBuilder()
        .setNumber("10086")
        .setType(Person.PhoneType.HOME))
    .build();

// 写对象
OutputStream outputStream;
//...
kido.writeTo(outputStream);

// 读对象
byte[] data;
InputStream inputStream;
//...
Person.parseFrom(data).toBuilder();
// or
Person.parseFrom(inputStream).toBuilder();

……

更多的使用和说明，请查看相关官方说明文档，此处不再赘述… 下面来讲一下protoc源码的编译以及使用。

3. Protoc源码的编译以及使用

3.1 安装ProtocolBuffer工具

3.1.1 下载源码

git clone git@github.com:google/protobuf.git

注： 也可以从protobuf/releases下载最新的release代码。

3.1.2 执行自动化脚本
下载完成后cd到工程目录下，运行autogen脚本。
PB依赖autoconf、automake、libtool、curl，在各个平台上安装这些依赖即可。比如在mac上，用brew安装：
(如果你的mac没安装brew，那么请先安装brew，其实也很简单，如下，命令行执行以下脚本)。

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

安装brew成功后使用”brew install”就可以很方便安装我们想要的其它套件了。

brew install autoconf automake libtool curl

安装完成后执行以下脚本：

./autogen.sh

在运行这个脚本的时候，如果遇到gmock下载被墙的问题，点击这个地址手动下载即可： gmock-1.7.0.zip 下载之后，将它丢到源代码目录即可。同时将脚本中的

# curl $curlopts -O https://googlemock.googlecode.com/files/gmock-1.7.0.zip 

注释掉再执行即可。

3.1.3 编译

$ ./configure
$ make
$ make check
$ sudo make install

查看是否安装完毕