一、Protocol Buffer 与 XML、JSON 的区别
Protocol Buffer
和XML
、JSON
一样都是结构数据序列化
的工具,但它们的数据格式有比较大的区别:
- 首先,Protocol Buffer 序列化之后得到的数据不是可读的字符串,而是
二进制流
- 其次,XML 和 JSON 格式的数据信息都包含在了序列化之后的数据中,不需要任何其它信息就能还原序列化之后的数据;但使用 Protocol Buffer 需要事先定义数据的格式(
.proto 协议文件
),还原一个序列化之后的数据需要使用到这个定义好的数据格式- 最后,在传输数据量较大的需求场景下,Protocol Buffer 比 XML、JSON
更小(3到10倍)、更快(20到100倍)、使用 & 维护更简单
;而且 Protocol Buffer 可以跨平台使用- Protobuf 安装:
- 安装 protobuf:
apt-get install libprotobuf-dev
- 安装 protobuf 的 python 模块:
pip3 install protobuf==3.13.0
- 源码方式安装:可参考 Protobuf 安装及使用 && https://github.com/protocolbuffers/protobuf/blob/main/src/README.md
- Protobuf 版本查看:
protoc --version
import google.protobuf as gp
,gp.__version__
二、Protocol Buffer 的作用
- 通过将结构化的数据(拥有多种属性)进行序列化,从而实现(内存与硬盘之间)数据存储和交换的功能
- 序列化: 按照
.proto
协议文件将数据结构或对象
转换成二进制流
的过程- 反序列化:将在序列化过程中所生成的
二进制流
转换成数据结构或对象
的过程
三、构建 Protocol Buffer 消息对象模型
1、通过 Protocol Buffer 语法描述需要存储的数据结构
- Protocol Buffer 定义数据格式的文件一般保存在
.proto
文件中,每一个message
代表了一类结构化的数据,message
里面定义了每一个属性的类型和名字
。 - 一个消息对象可以将
其他消息对象类型
用作字段类型
,情况如下:
# 1、包名
package protocobuff_Demo;
# 2、option 选项
option java_package = "com.carson.proto";
option java_outer_classname = "Demo";
# 3、消息模型
# 3.1、生成 Person 消息对象(包含多个字段)
message Person {
required string name = 1;
required int32 id = 2;
optional string email = 3;
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
# 该消息类型定义在 Person 消息类型的内部
# 即 Person 消息类型是 PhoneNumber 消息类型的父消息类型
message PhoneNumber {
required string number = 1;
optional PhoneType type = 2 [default = HOME];
}
# 直接使用内部消息类型
repeated PhoneNumber phone = 4;
}
# 3.2、使用外部消息类型,直接使用了 Person 消息类型作为消息字段
message AddressBook {
repeated Person person = 1;
}
2、通过 Protocol Buffer 编译器编译 .proto 文件
- 作用:将
.proto
文件 转换成对应平台(python、C++、Java)的代码文件- 编译指令如下所示:
# 在终端输入下列命令进行编译
protoc -I=$SRC_DIR --xxx_out=$DST_DIR $SRC_DIR/addressbook.proto
# 参数说明
# 1. $SRC_DIR:指定需要编译的 .proto 文件目录 (如没有提供则使用当前目录)
# 2. --xxx_out:xxx 根据需要生成代码的类型进行设置
"""
对于 Java ,xxx = java ,即 -- java_out
对于 C++ ,xxx = cpp ,即 --cpp_out
对于 Python,xxx = python,即 --python_out
"""
# 3. $DST_DIR :编译后代码生成的目录 (通常设置与$SRC_DIR相同)
# 4. 最后的路径参数:需要编译的 .proto 文件的具体路径
# 编译通过后,Protoco Buffer 会根据不同平台生成对应的代码文件
四、参考资料
1、这是一份很有诚意的 Protocol Buffer 语法详解
2、手把手教你如何安装 Protocol Buffer