Protocol Buffers（1）：序列化、编译与使用

Protocol Buffers docs： https://developers.google.com/protocol-buffers/docs/overview
github： https://github.com/protocolbuffers/protobuf

序列化与反序列化

有些时候，我们希望给数据结构或对象拍个“快照”，或者保存成文件，或者传输给其他应用程序。比如，在神经网络训练过程中，我们会将不同阶段的网络权重以模型文件的形式保存下来，如果训练意外终止，可以重新载入模型文件将模型复原，继续训练。

将数据结构或对象以某种格式转化为字节流的过程，称之为序列化（Serialization），目的是把当前的状态保存下来，在需要时复原数据结构或对象（序列化时不包含与对象相关联的函数，所以后面只提数据结构）。反序列化（Deserialization），是序列化的逆过程，读取字节流，根据约定的格式协议，将数据结构复原。如下图所示，图片来自geeksforgeeks

在介绍具体技术之前，我们先在脑海里分析下序列化和反序列化的过程：

• 代码运行过程中，数据结构和对象位于内存，其中的各项数据成员可能彼此紧邻，也可能分布在并不连续的各个内存区域，比如指针指向的内存块等；
• 文件中字节是顺序存储的，要想将数据结构保存成文件，就需要把所有的数据成员平铺开（flatten），然后串接在一起；
• 直接串接可能是不行的，因为字节流中没有天然的分界，所以在序列化时需要按照某种约定的格式（协议），以便在反序列化时知道“从哪里到哪里是哪个数据成员”，因此格式可能需要约定：指代数据成员的标识、起始位置、终止位置、长度、分隔符等
• 由上可见，格式协议是最重要的，它直接决定了序列化和反序列化的效率、字节流的大小和可读性等

Protocol Buffers概览

本文的主角Protocol Buffers，简称Protobuf，是谷歌开源的一项序列化技术，用官方语言介绍就是：

What are protocol buffers?
Protocol buffers are Google’s language-neutral, platform-neutral, extensible mechanism for serializing structured data – think XML, but smaller, faster, and simpler.
You define how you want your data to be structured once, then you can use special generated source code to easily write and read your structured data to and from a variety of data streams and using a variety of languages.

跨语言，跨平台，相比XML和JSON 更小、更快、更容易，因为XML、JSON为了可阅读、自解释被设计成字符文本形式，所以体积更大，在编码解码上也更麻烦，而Protobuf序列化为binary stream，体积更小，**但是丧失了可读性——后面我们将看到可读性可以通过另一种方式得到保证。**至于上面的"You define how you want your data to be structured once"该怎么理解？参看下图，图片素材来自 Protocol Buffers官网首页。

首先是proto文件，在其中定义我们想要序列化的数据结构，如上图中的message Person，通过Protobuf提供的protoc.exe生成编解码代码文件（C++语言是.cc和.h），其中定义了类Person，类的各个成员变量与proto文件中的定义保持一致。序列化时，定义Person对象，对其成员变量赋值，调用序列化成员函数，将对象保存到文件。反序列化时，读入文件，将Person对象复原，读取相应的数据成员。

proto文件仅定义了数据的结构（name、id、email），具体的数据内容（1234、“John Doe”、“jdoe@example.com”）保存在序列化生成的文件中，通过简单的思考可知，序列化后的文件里应该会存在一些辅助信息用来将数据内容与数据结构对应起来，以便在反序列化时将数据内容赋值给对应的成员。

流程如下：

对Protobuf有了大致的了解后，我们来看看如何编译和使用Protobuf。

Protocol Buffers C++ 编译

在