第九十三篇 Protobuf总结

哈哈，好久没见了，虽然关注的人不是很多，对自己热衷的事情还是想记录下来，不论是想学的还是沉淀下来的在此能有些痕迹，希望自己坚持下来，不忘初心！

一、Protobuf介绍

https://developers.google.com/protocol-buffers

Protocol buffers
用于序列化结构化数据(比如XML)，但更小、更快、更简单。您只需定义数据的结构化方式，然后就可以使用特殊生成的源代码轻松地向各种数据流写入和读取结构化数据，并使用各种语言。

这是官网的一段介绍，总的来说已经表达很清楚了，和我们现有的一些结构化数据类似，比如json,XML等等，但protocol buffers 他对需要结构化的数据类型要求更严格，这也使得再其序列化后能极大的压缩，使其运行比较快，存储上和传输上更小

XML、JSON、Protobuf 都具有数据结构化和数据序列化的能力
XML、JSON 更注重 数据结构化，关注人类可读性和语义表达能力。Protobuf 更注重 数据序列化，关注效率、空间、速度，人类可读性差，语义表达能力不足
Protobuf 的应用场景更为明确，XML、JSON 的应用场景更为丰富

为什么使用协议缓冲区？

我们将要使用的示例是一个非常简单的“地址簿”应用程序，它可以在文件中读取和写入人们的联系方式。地址簿中的每个人都有一个姓名、一个 ID、一个电子邮件地址和一个联系电话号码。

你如何序列化和检索这样的结构化数据？有几种方法可以解决这个问题：

• 原始内存数据结构可以二进制形式发送/保存。随着时间的推移，这是一种脆弱的方法，因为接收/读取代码必须使用完全相同的内存布局、字节序等进行编译。此外，由于文件以原始格式累积数据，并且为该格式连接的软件副本是传播，很难扩展格式。
• 您可以发明一种特殊方式将数据项编码为单个字符串——例如将 4
  个整数编码为“12:3:-23:67”。这是一种简单而灵活的方法，尽管它确实需要编写一次性的编码和解析代码，并且解析会产生很小的运行时成本。这最适合编码非常简单的数据。
• 将数据序列化为 XML。这种方法可能非常有吸引力，因为
  XML（某种程度）是人类可读的，并且有许多语言的绑定库。如果您想与其他应用程序/项目共享数据，这可能是一个不错的选择。然而，众所周知，XML
  是空间密集型的，对它进行编码/解码会对应用程序造成巨大的性能损失。此外，导航 XML DOM 树比导航类中的简单字段通常要复杂得多。

协议缓冲区是解决这个问题的灵活、高效、自动化的解决方案。使用协议缓冲区，您可以编写.proto要存储的数据结构的描述。由此，protocol buffer 编译器创建了一个类，该类以高效的二进制格式实现 protocol buffer 数据的自动编码和解析。生成的类为组成协议缓冲区的字段提供 getter 和 setter，并将读取和写入协议缓冲区的细节作为一个单元处理。重要的是，协议缓冲区格式支持随着时间的推移扩展格式的想法，这样代码仍然可以读取用旧格式编码的数据。

二、语法介绍

很简单的列子，需要序列化的数据SearchRequest，和c,c++ 结构体struct 定义方式类似

syntax = "proto3";

message SearchRequest {
  string query = 1;
  int32 page_number = 2;
  int32 result_per_page = 3;
}

String 类型的 query，编号是 1 （注：字段必须有编号且编号不允许重复）
int32 类型的 page_number，编号是 2

类型定义示例

首先定义关于phone的类型数据，分别是int和string

phone.proto

syntax = "proto3";

package com.hello.world;

message Phone{
  string name = 1;
  int64 number = 2;
}

再定义关于个人信息的一个proto文件，此proto文件中包含常用的所有类型数据，逐一列举出来

1. 如何导入其他.proto文件
2. 类型中如何使用数组，字典，对象，bool等
3. 也可以增加required, 意味着必须提供该字段的值，否则该消息将被视为“未初始化”。序列化未初始化的消息将引发异常。解析未初始化的消息将失败。

people.proto

syntax = "proto3";

import "phone.proto";

# 包名
package com.hello.world;

message People{
  string name = 1;
  int32 age = 2;
}

message Information {
  int32 id = 1;
  string address = 2;
  double bid = 3;
  bool is_shortsightedness = 4;
  repeated string hobby = 5;
  map<string, int32> friends = 6;
  People people = 7;
  Phone phone = 8;
}

编译生成py文件可调用

# 安装 grpc 相关的 python 模块
pip install grpcio
# 安装 python 下的 protoc 编译器, 使用 protoc 编译 proto 文件, 生成 python 语言的实现
pip install grpcio-tools

参数解释

python -m grpc_tools.protoc --python_out=. --grpc_python_out=. -I. helloworld.proto

python -m grpc_tools.protoc: python 下的 protoc 编译器通过 python 模块(module) 实现, 所以说这一步非常省心
--python_out=. : 编译生成处理 protobuf 相关的代码的路径, 这里生成到当前目录
--grpc_python_out=. : 编译生成处理 grpc 相关的代码的路径, 这里生成到当前目录
-I. helloworld.proto : proto 文件的路径, 这里的 proto 文件在当前目录

测试文件测试proto 文件

# !/usr/bin/python
# -*- coding: UTF-8 -*-

"""
@file:test.py
@time:2022/01/11

"""
import phone_pb2, people_pb2

information = people_pb2.Information()
information.id = 1
information.address = "shanghai"
information.bid = 3.1415926232323
information.is_shortsightedness = True
information.hobby.extend(["swimming", "coding", "sleep", "movie"])
information.friends.update({"bobcat": 16, "ocelot": 17})

information.people.CopyFrom(people_pb2.People(name="bob", age=18))
information.phone.CopyFrom(phone_pb2.Phone(name="huawei", number=6800))
print(information)

结果:

id: 1
address: "shanghai"
bid: 3.1415926232323
is_shortsightedness: true
hobby: "swimming"
hobby: "coding"
hobby: "sleep"
hobby: "movie"
friends {
  key: "bobcat"
  value: 16
}
friends {
  key: "ocelot"
  value: 17
}
people {
  name: "bob"
  age: 18
}
phone {
  name: "huawei"
  number: 6800
}


进程已结束,退出代码0

序列化和反序列化使用

information_serialize = information.SerializeToString()
print("serialize:", information_serialize)
print("serialize byte:", information.ByteSize())

"""
serialize: b'\x08\x01\x12\x08shanghai\x19\xc3\x191P\xfb!\t@ \x01*\x08swimming*\x06coding*\x05sleep*\x05movie2\n\n\x06ocelot\x10\x112\n\n\x06bobcat\x10\x10:\x07\n\x03bob\x10\x12B\x0b\n\x06huawei\x10\x905'
serialize byte: 101
"""

information_parse = people_pb2.Information()
information_parse.ParseFromString(information_serialize)
print("parse:", information_parse)

"""
parse: id: 1
address: "shanghai"
bid: 3.1415926232323
is_shortsightedness: true
hobby: "swimming"
hobby: "coding"
hobby: "sleep"
hobby: "movie"
friends {
  key: "bobcat"
  value: 16
}
friends {
  key: "ocelot"
  value: 17
}
people {
  name: "bob"
  age: 18
}
phone {
  name: "huawei"
  number: 6800
}
"""

protobuf 生成脚本

proto_generate.sh

BASEDIR=$(dirname "$0")
cd "$BASEDIR" || exit

PROTO_DIR="proto"
TARGER_DIR="generated"

generate() {
  python -m grpc_tools.protoc -I./$PROTO_DIR --python_out=./$TARGER_DIR "$1"
}

generate_all() {
  for proto in "$PROTO_DIR"/*.proto; do
    echo "protoc: $proto"
    generate "$proto"
  done
}

if [ $# -gt 0 ]; then
  generate "$1"
else
  generate_all
fi