还只会用json和xml？是时候掌握Google Protocol Buffer了

Protocol Buffer是一种免费开源的跨平台轻量级高效结构化数据存储格式，可以编译成各种语言的代码，包括C++、Java、C#、Python等等。在平时的开发中，我们经常会用到json和xml这两种数据存储格式。不过，Protocol Buffer相比于它们更加的简单，序列化和反序列化的速度更快，数据体积更加小，简单上手，这样的工具谁不爱呢？目前，也已经有很多大厂在将其应用到自己的项目之中。真的是Google出品，必属精品啊！是不是已经迫不及待想要尝试一下？

安装

在使用Protocol Buffer之前，我们需要先安装它。不过，由于某些原因大陆无法直接访问官方下载，我们可以从github上进行下载。这里已经为大家下载了一个稳定版本3.17.3放在网盘中，可供同学们下载使用。

• github下载地址：https://github.com/protocolbuffers/protobuf/releases
• 网盘下载：回复Protocol Buffer获取网盘地址

linux平台安装

我们选择一个版本的cpp版本的压缩包，以protobuf-cpp-3.17.3.tar.gz为例，将下载的压缩包放到/var目录下并进行解压，解压命令如下：

tar -zxvf protobuf-cpp-3.17.3.tar.gz

进入解压后的protobuf-3.17.3目录，查看目录中是否有configure可执行文件，如果没有，可以通过执行./autogen.sh生成。

接下来执行下面的命令进行配置、编译和安装，编译过程需要一定的时间，大家要耐心等待。这里注意我们的环境需要事先安装好g++和make工具，否则就要悲剧了～

./configure --prefix=/usr/local/protobuf
make
make install

安装完成后，我们还需要将安装目录在/etc/profile文件中添加到环境变量（如下），然后，执行source /etc/profile即可生效。

export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/

当然，为了安全考虑，我们还可以在当前用户的~/.bashrc中添加。

环境变量配置完成后，我们就可以使用protoc --version进行查看是否安装成功了。

Windows安装：方法一

对于Windows版本，已经预编译生成了protoc可执行程序并发布了出来，如果仅仅只是在window平台下编写消息格式并生成对应格式的源码，就直接下载protoc可执行程序即可。

我们选择对应Windows版本的release包下载，再把下载完成后的压缩包对其进行解压。这里为了方便测试我就解压到了C:\protoc目录下。

解压后，我们可以发现会有两个子目录分别是bin和include。其中，protoc编译器执行程序就在bin目录里。接下来，我们需要将刚刚解压好的bin子目录地址添加到环境变量PATH中，添加完成后就可以使用了。

执行protoc --version可以查看版本信息，检查是否安装成功。

Windows安装：方法二

当然，如果需要在Windows平台进行基于Protocol Buffer的应用编译的话，还需要根据源代码制作lib库和头文件，因为没有Protocol Buffer的库和相应的头文件的话，我们的应用是没法编译通过的。

接下来，我们一起探究如何编译protocol buffer的源码并安装，大家一定事先准备好CMake和VS哦！

由于我们下载的是最新3.17.3版本的源码，它需要c++11支持，因此，需要安装VS2015以上的版本。这点很重要，会省掉很多不必要的麻烦。

对于CMake，我们可以在命令行中执行cmake --version，确认是否配置好环境变量，否则需要将cmake的安装目录加到环境变量中。

环境准备好之后，我们就可以开工啦！

同样的我们需要先解压源码压缩包protobuf-cpp-3.17.3.tar.gz，打开VS的开发命令行Developer Command Prompt（我们可以从开始菜单中查找），进入源码的cmake目录。

由于不同的工程有不同的配置，我们需要创建一个目录build来存放cmake生成的工程配置。

mkdir build & cd build

接下来，我们就可以使用CMake工具构建VS工程啦！

这里我们以VS2019为例，执行下面的命令：

mkdir vs2019 & cd vs2019
cmake -G "Visual Studio 16 2019" ^
     -DCMAKE_INSTALL_PREFIX=../../../../install ^
     ../..

如下图，VS工程就在vs2019目录下生成成功啦！

如下图，在CMake构建工程的过程中可能出现找不到编译器的情况，就有可能是VS2019缺少某些包导致，检查是否安装相应的安装包。

这里因为缺少了CRT SDK没有安装导致了这种错误，安装之后，问题解决。

现在我们就可以使用VS2019打开protobuf.sln，在Build菜单中选择Build Solution对整个工程进行编译。等待片刻之后，整个工程即可编译完成。

现在我们就可以到编译输出目录（这里是Debug目录）将生成的静态库libprotobufd.lib libprotocd.lib以及可执行程序protoc.exe取出使用了。

我们可以把编译生成的protoc.exe放在C:\protoc\protoc-3.17.3-debug\bin目录,libprotobufd.lib libprotocd.lib两个静态库放在C:\protoc\protoc-3.17.3-debug\lib目录。然后，再将这两个目录添加到环境变量中。

如果你按照方法一已经安装过官方编译好的protoc.exe，别忘了将方法一配置的环境变量删掉。

我们知道只有静态库没有头文件是没法使用的，所以还需要相应的头文件。在vs2019目录下已经生成了一个脚本extract_includes.bat，我们只需运行此脚本，便会生成一个include文件夹，我们将其复制到C:\protoc\protoc-3.17.3-debug目录下，并将其添加到环境变量中即可。

安装好了之后，我们来看看如何使用protocol buffer呢？准备好，要开始上代码啦！

消息格式

首先，需要定义一个消息格式。新建一个文件hello.proto用来自定义一个消息格式，添加内容如下：

syntax = 'proto3';
 
package msg;
 
message helloworld{

    int32 id = 1 ; 
    string str = 2;
    optional int32 opt = 3;

}

proto文件可以用来定义消息数据类型，文件开头的syntax可以指定proto3或proto2,缺省情况下是proto2。

正如上面我们定义的消息格式，在定义消息时，消息中的每一个字段需要有如下部分组成：

• 数据类型（field type）
• 名字(field name)
• 标识号(unique number)
• 字段规则

上面的helloworld数据类型中使用了int32和string两种类型，当然，它不仅支持使用一些简单的数据类型，也可以支持使用自定义的数据类型以及枚举类型等。下表是一些常见的数据类型：

标识号是指每个字段都需要一个唯一的编号，它决定了数据的二进制数据的格式，而且一旦消息被使用之后，这个值是不能被修改的。

大家应该发现在上面的helloworld消息中，字段定义中并没有字段规则，这是什么原因？

字段在定义时除了类型，名字和标识号之外，还需要一个字段规则作为修饰符，在proto3中字段规则主要有以下2种：

• singular：它是proto3的默认规则，可以设置也可以不设置它的值
• repeated: 可以认为是动态分配的数组

不过，对于proto2除了repeated还有下面2种：

• optional: 可以设置，也可以不设置它的值，这个是和proto3里的singular是类似的；
• required: 必须设置它的值

生成源码

定义好了消息格式后，之前安装的protoc编译器就可以派上用场啦！protoc编译器通过这个格式文件，就可以生成对应语言的源代码，这里我们选择生成的是C++的源码。可以使用如下命令生成C++源码：

protoc -I=. --cpp_out=. hello.proto

注意，命令中的几个参数：

• -I指明了.proto文件所在的具体目录，如果省略这个参数，则使用当前的目录；
• 参数--cpp_out=./是指定在当前目录生成c++源码文件；
• hello.proto是我们定义的消息格式文件。

所以，在hello.proto之前是有一个空格的哦！

命令执行完成后，我们将会在消息格式目录下面找到生成的源码文件hello.pb.cc和hello.pb.h。

对于这一部分linux和Windows平台区别不大。

读写消息

一切已经就绪，就差一个栗子了，哈哈！下面我就可以使用生成的源码进行读写数据了。这里我们将编写这样一个例子，将数据写到hello.data文件中，然后再将文件中的内容读取出来。废话不多说，直接上代码！

// test.cpp

#include <iostream>
#include <fstream>
#include "hello.pb.h"

int main()
{
    msg::helloworld m1;
    m1.set_id(1);
    m1.set_str("hello world");
    m1.set_opt(3);
	
    std::fstream f1("hello.data", std::ios::out | std::ios::trunc | std::ios::binary);
    if(!m1.SerializeToOstream(&f1))
    {
        std::cout << "save data error" << std::endl;
        return -1;
	}
    f1.close();
    std::cout << "write data to hello.data successfully!!!" << std::endl;
    std::cout << std::endl;

    std::fstream f2("hello.data", std::ios::in | std::ios::binary);
    msg::helloworld m2;
    if(!m2.ParseFromIstream(&f2))
    {
        std::cout << "parse data error" << std::endl;
        return -1;
    }
    f2.close();

    std::cout << "read data from hello.data" << std::endl;
    std::cout << "id = " << m2.id() << std::endl;
    std::cout << "std = " << m2.str() << std::endl;
    std::cout << "opt = " << m2.opt() << std::endl;
	
    return 0;
}

大家有没有发现？这里我们可以很方便的调用生成的API对数据进行操作，是不是简单而又方便？

编译和运行

想必大家应该已经知道到最终的输出结果是什么了吧？我们将自动生成的消息代码hello.pb.cc hello.pb.h和测试代码test.cpp放到一起，通过c++编译器生成一个可执行文件，看看是不是如大家所想的那样？

下面我们分别用Linux平台和Windows平台验证一下结果。

Linux平台

我们在上面的安装这一步骤中已经配置好protocol buffer的Linux平台开发环境，将源码按照下面的命令进行编译即可。

g++ hello.pb.cc test.cpp -o test `pkg-config --cflags --libs protobuf` -lprotobuf -std=c++11 -lpthread

这里需要注意的是，在编译时需要添加-lprotobuf -std=c++11 -lpthread等参数，否则会有惊喜出现哦！

一切顺利，最终生成了可执行文件test，我们再执行./test看看结果如何？

最后，再来看一下我的测试工程目录结构：

windows平台

我们使用vs2019创建一个新项目test，并将hello.pb.cc hello.pb.h和测试代码test.cpp添加到工程中。

接下来，我们还需要再对工程进行一些配置，首先将之前生成的头文件目录和静态链接库目录配置到项目属性中。

然后，再添加依赖，将libprotobufd.lib libprotocd.lib两个静态库名字添加到依赖中。（Linker -> Input -> Additional Dependencies）

由于之前的protocol buffer工程的运行库是MTD方式，如果要使用其生成的静态库就需要当前的工程相匹配，因此，这里我们也选择MTD方式，否则，在链接时将会出现运行时不匹配的错误。

最后，编译完成后，运行观察结果。

至此，大家都应该已经学会如何使用protocol buffer了吧？

最后

无疑protocol buffer是一个非常强大的存在，广受众多开发者的一致好评。然而，世界上没有绝对完美的东西，protocol buffer也是如此。由于protocol buffer是以二进制的方式进行存储的，在可读性方面就没那么友好了，它就无法像xml那样进行直接的编辑和修改。当然，工具是死的人是活的，只要我们知道.proto文件的格式，我们就可以通过工具对其进行修改，来提高便利性。