Protobuf了解一下？

最新推荐文章于 2023-06-28 20:02:35 发布
最新推荐文章于 2023-06-28 20:02:35 发布
阅读量1.1k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tongtongjing1765/article/details/100582026
版权

Protocol Buffers是Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。它不依赖于语言和平台并且可扩展性极强。现阶段官方支持C++、JAVA、Python等编程语言，但可以找到大量的几乎涵盖所有语言的第三方拓展包。

Protocol Buffers经常被简称为protobuf。

640?wx_fmt=jpeg

（图文无关，就是想纪念一下消失的巴黎圣母院）

项目GitHub地址：

https://github.com/google/protobuf


为什么要使用protobuf？

1、它支持多种语言，最简单的python可以很轻易的使用它。（灵活）

2、它是一种特殊的方法，可以数据项编码为单个字符串。（高效）

3、它可以将数据序列化为XML，可以与不同种类的项目进行共享数据，一般的在软硬件交互，游戏开发等情况下使用。（应用广泛）


如何使用protocolbuf？

编写一个.proto文件描述希望存储的数据结构。然后，protocolbuf编译器创建一个类，该类使用有效的二进制格式实现协议缓冲区数据的自动编码和解析。生成的类为构成协议的字段提供getter和setter方法。重要的是，protocolbuf格式支持随着时间的推移扩展格式，这样代码仍然可以读取用旧格式编码的数据。


那我们现在就开始实践吧！

首先需要安装一下protocolbuf的支持包

我们使用python的pip安装

pip install protobuf

640?wx_fmt=png


安装完之后我们就来实操一下，如将一个protobuf文件编译成python文件。

首先我们创建一个protobuf文件:a.proto

syntax = "proto2";

package tutorial;

message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}

创建的文件主要就是一个名字对应一个数据体，类似于python里面的字典。数据体里面数据格式比较对多，可以有string，int32，PhoneTyoe等，对于必要的字段需要在前面加上required关键字，如果是可有可无的字段在前面加上optional关键字即可。





在终端执行语句：

protoc --proto_path=proto --python_out=pblib/proto proto/*.proto 

--proto_path：默认路径

--python_out：生成代码的路径

蓝色的代表代码所在的路径，可以给绝对路径也可以给相对路径

640?wx_fmt=png


「注：如果使用MAC执行这个语句，

需要先执行brew install grpc protobuf」


生成python文件：

# -*- coding: utf-8 -*-
# Generated by the protocol buffer compiler.  DO NOT EDIT!
# source: a.proto
import sys
_b=sys.version_info[0]<3 and (lambda x:x) or (lambda x:x.encode('latin1'))
from google.protobuf import descriptor as _descriptor
from google.protobuf import message as _message
from google.protobuf import reflection as _reflection
from google.protobuf import symbol_database as _symbol_database
# @@protoc_insertion_point(imports)
_sym_db = _symbol_database.Default()




DESCRIPTOR = _descriptor.FileDescriptor(
name='a.proto',
  package='tutorial',
  syntax='proto2',
  serialized_options=None,
  serialized_pb=_b('\n\x07\x61.proto\x12\x08tutorial\"\xdb\x01\n\x06Person\x12\x0c\n\x04name\x18\x01 \x02(\t\x12\n\n\x02id\x18\x02 \x02(\x05\x12\r\n\x05\x65mail\x18\x03 \x01(\t\x12,\n\x06phones\x18\x04 \x03(\x0b\x32\x1c.tutorial.Person.PhoneNumber\x1aM\n\x0bPhoneNumber\x12\x0e\n\x06number\x18\x01 \x02(\t\x12.\n\x04type\x18\x02 \x01(\x0e\x32\x1a.tutorial.Person.PhoneType:\x04HOME\"+\n\tPhoneType\x12\n\n\x06MOBILE\x10\x00\x12\x08\n\x04HOME\x10\x01\x12\x08\n\x04WORK\x10\x02\"/\n\x0b\x41\x64\x64ressBook\x12 \n\x06people\x18\x01 \x03(\x0b\x32\x10.tutorial.Person')
)



_PERSON_PHONETYPE = _descriptor.EnumDescriptor(
name='PhoneType',
  full_name='tutorial.Person.PhoneType',
  filename=None,
  file=DESCRIPTOR,
  values=[
    _descriptor.EnumValueDescriptor(
name='MOBILE', index=0, number=0,
      serialized_options=None,
      type=None),
    _descriptor.EnumValueDescriptor(
name='HOME', index=1, number=1,
      serialized_options=None,
      type=None),
    _descriptor.EnumValueDescriptor(
name='WORK', index=2, number=2,
      serialized_options=None,
      type=None),
  ],
  containing_type=None,
  serialized_options=None,
  serialized_start=198,
  serialized_end=241,
)
_sym_db.RegisterEnumDescriptor(_PERSON_PHONETYPE)


_PERSON_PHONENUMBER = _descriptor.Descriptor(
name='PhoneNumber',
  full_name='tutorial.Person.PhoneNumber',
  filename=None,
  file=DESCRIPTOR,
  containing_type=None,
  fields=[
    _descriptor.FieldDescriptor(
name='number', full_name='tutorial.Person.PhoneNumber.number', index=0,
      number=1, type=9, cpp_type=9, label=2,
      has_default_value=False, default_value=_b("").decode('utf-8'),
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
    _descriptor.FieldDescriptor(
name='type', full_name='tutorial.Person.PhoneNumber.type', index=1,
      number=2, type=14, cpp_type=8, label=1,
      has_default_value=True, default_value=1,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
  ],
  extensions=[
  ],
  nested_types=[],
  enum_types=[
  ],
  serialized_options=None,
  is_extendable=False,
  syntax='proto2',
  extension_ranges=[],
  oneofs=[
  ],
  serialized_start=119,
  serialized_end=196,
)

_PERSON = _descriptor.Descriptor(
name='Person',
  full_name='tutorial.Person',
  filename=None,
  file=DESCRIPTOR,
  containing_type=None,
  fields=[
    _descriptor.FieldDescriptor(
name='name', full_name='tutorial.Person.name', index=0,
      number=1, type=9, cpp_type=9, label=2,
      has_default_value=False, default_value=_b("").decode('utf-8'),
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
    _descriptor.FieldDescriptor(
name='id', full_name='tutorial.Person.id', index=1,
      number=2, type=5, cpp_type=1, label=2,
      has_default_value=False, default_value=0,
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
    _descriptor.FieldDescriptor(
name='email', full_name='tutorial.Person.email', index=2,
      number=3, type=9, cpp_type=9, label=1,
      has_default_value=False, default_value=_b("").decode('utf-8'),
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
    _descriptor.FieldDescriptor(
name='phones', full_name='tutorial.Person.phones', index=3,
      number=4, type=11, cpp_type=10, label=3,
      has_default_value=False, default_value=[],
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
  ],
  extensions=[
  ],
  nested_types=[_PERSON_PHONENUMBER, ],
  enum_types=[
    _PERSON_PHONETYPE,
  ],
  serialized_options=None,
  is_extendable=False,
  syntax='proto2',
  extension_ranges=[],
  oneofs=[
  ],
  serialized_start=22,
  serialized_end=241,
)


_ADDRESSBOOK = _descriptor.Descriptor(
name='AddressBook',
  full_name='tutorial.AddressBook',
  filename=None,
  file=DESCRIPTOR,
  containing_type=None,
  fields=[
    _descriptor.FieldDescriptor(
name='people', full_name='tutorial.AddressBook.people', index=0,
      number=1, type=11, cpp_type=10, label=3,
      has_default_value=False, default_value=[],
      message_type=None, enum_type=None, containing_type=None,
      is_extension=False, extension_scope=None,
      serialized_options=None, file=DESCRIPTOR),
  ],
  extensions=[
  ],
  nested_types=[],
  enum_types=[
  ],
  serialized_options=None,
  is_extendable=False,
  syntax='proto2',
  extension_ranges=[],
  oneofs=[
  ],
  serialized_start=243,
  serialized_end=290,
)

_PERSON_PHONENUMBER.fields_by_name['type'].enum_type = _PERSON_PHONETYPE
_PERSON_PHONENUMBER.containing_type = _PERSON
_PERSON.fields_by_name['phones'].message_type = _PERSON_PHONENUMBER
_PERSON_PHONETYPE.containing_type = _PERSON
_ADDRESSBOOK.fields_by_name['people'].message_type = _PERSON
DESCRIPTOR.message_types_by_name['Person'] = _PERSON
DESCRIPTOR.message_types_by_name['AddressBook'] = _ADDRESSBOOK
_sym_db.RegisterFileDescriptor(DESCRIPTOR)

Person = _reflection.GeneratedProtocolMessageType('Person', (_message.Message,), dict(

PhoneNumber = _reflection.GeneratedProtocolMessageType('PhoneNumber', (_message.Message,), dict(
DESCRIPTOR = _PERSON_PHONENUMBER,
    __module__ = 'a_pb2'
    # @@protoc_insertion_point(class_scope:tutorial.Person.PhoneNumber)
    ))
,
  DESCRIPTOR = _PERSON,
  __module__ = 'a_pb2'
  # @@protoc_insertion_point(class_scope:tutorial.Person)
  ))
_sym_db.RegisterMessage(Person)
_sym_db.RegisterMessage(Person.PhoneNumber)

AddressBook = _reflection.GeneratedProtocolMessageType('AddressBook', (_message.Message,), dict(
DESCRIPTOR = _ADDRESSBOOK,
  __module__ = 'a_pb2'
  # @@protoc_insertion_point(class_scope:tutorial.AddressBook)
  ))
_sym_db.RegisterMessage(AddressBook)


# @@protoc_insertion_point(module_scope)



只要一个简单的命令就可以将proto文件编译成python文件。

所以，之后想要使用protobuf，就可以在proto文件中创建类似python字典形式的数据，之后再使用：

protoc --python_out=输出路径 proto文件路径即可


这就是protobuf最基本的使用啦。

640?wx_fmt=gif

“每天学习一点点“



敲代码的灰太狼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
protobuf java编码基础
web开发自学
09-05 201
Protobuf java基础 本文档为java编程人员使用protocol buffer提供了一个基本的介绍，通过一个简单的例程进行介绍。通过本文，你可以了解到如下信息： 1、在一个.proto文件中定义一个信息格式. 2、使用protoc命令进行编译,生成java代码. 3、使用Java protocol buffer API进行读写操作. l 定义proto文件 以一个地址薄为例...
使用protobuf-to-dict轻松转换Protocol Buffers到字典
最新发布
gitblog_00098的博客
05-29 324
使用protobuf-to-dict轻松转换Protocol Buffers到字典 项目地址:https://gitcode.com/benhodgson/protobuf-to-dict 在这个高度数据驱动的编程时代，高效的数据序列化和反序列化变得至关重要。protobuf-to-dict 是一个小巧而强大的Python库，它提供了一个简洁的方法，将Protocol Buffers（Google...
protobuf使用教程
qq_38966867的博客
01-28 801
protobuf使用教程 转载于 安装protobuf sudo apt-get install autoconf automake libtool curl make g++ unzip git git clone https://github.com/protocolbuffers/protobuf.git cd protobuf git submodule update --init --recursive ./autogen.sh ./configure make sudo make install
Protobuf 协议
明明明的博客
07-15 719
Protobuf 协议
protobuf生成的头源文件函数
m0_60274660的博客
06-28 161
无
protobuf 3.20.2
05-11
通过阅读`readme.txt`，了解具体改动，以及检查`include`和`bin`目录中的内容，开发者可以充分利用这一版本的优势，提高其应用程序的效率和可靠性。在升级到新版本时，务必按照官方文档的指导进行，确保平稳过渡。
protoBuf3.4.0源码
03-06
protobuf是Protocol Buffers...通过研究protoBuf3.4.0的源码，开发者不仅可以了解其内部工作机制，还可以学习如何扩展和优化ProtoBuf以满足特定项目需求。这对于任何涉及数据交换和序列化的软件项目都是极其有价值的。
protobuf source v3.21.12
04-28
1. **模式解析**：了解protobuf如何将.proto文件解析为抽象语法树（AST）并生成目标语言的代码。 2. **编码和解码算法**：深入理解protobuf如何高效地编码和解码数据，包括变长整数编码（Varint）、长度前缀编码等。...
protobuf-python-3.17.0
03-20
标题 "protobuf-python-3.17.0" 指...了解这些知识点后，你可以利用 Protobuf-Python 3.17.0 来提升你的项目中结构化数据处理的效率和可靠性。记得在实际应用中查阅官方文档或 release notes，获取具体变更和使用指南。
protobuf-python-3.17.3
07-04
protobuf-python-3.17.3 是一个针对Python...了解这些内容有助于更好地利用protobuf在Python项目中进行数据交换和序列化。在实际使用中，确保阅读官方的发行说明，以获取关于新特性、已知问题和迁移指南的具体信息。
框架分析--dictionary组件、protobuf组件与消息压缩
疯狂的程序员
03-25 925
在实际编程中，为了减少数据传输带宽的消耗，提高传输效率，pomelo提供了对消息的压缩，包括基于字典的对route的压缩和基于protobuf的对具体传输数据的压缩。 route压缩 在实际编程中，网络带宽的有效数据负载率是一个值得考虑的问题。特别地，对于移动客户端来说，网络资源往往并不是很丰富，为了尽可能地节省网络资源，往往需要尽大可能地增加数据包的有效数据率。 route问题 在pomelo编...
Protobuf-Descriptor相关类
Felix/XuWei的博客
06-01 1万+
类Descriptor 描述一种message类型（不是一个单独的message对象）的meta信息。构造函数是private类型，必须通过DescriptorPool（friend类）来构造。 const的成员： const FileDescriptor* file_： 描述message所在的.proto文件信息 const Descriptor* containing_type_...
第九十三篇 Protobuf总结
爱跳水的温文尔雅的laughing
01-11 725
Protobuf总结一、Protobuf介绍为什么使用协议缓冲区？二、语法介绍类型定义示例编译生成py文件可调用序列化和反序列化使用protobuf 生成脚本 哈哈，好久没见了，虽然关注的人不是很多，对自己热衷的事情还是想记录下来，不论是想学的还是沉淀下来的在此能有些痕迹，希望自己坚持下来，不忘初心！ 一、Protobuf介绍 https://developers.google.com/protocol-buffers Protocol buffers 用于序列化结构化数据(比如XML)，但更小、更快、更
oracle json入参调用ws服务返回请求失败_Spring 5.2.2技术集成 —Spring HTTP调用程序和JAXWS...
weixin_39588911的博客
12-12 247
下面提到的AccountService接口类需要看Spring 5.2.2 技术的集成—RMI、Hessian，就不在此赘述了。一、Spring HTTP调用程序 与Hessian相反，Spring HTTP 调用程序都是轻量级协议，它们使用自己的便捷的序列化机制，并使用标准Java序列化机制通过HTTP公开服务。如果参数和返回类型是无法使用Hessian使用的...
Caffe提取任意层特征并进行可视化
lcj_cjfykx的专栏
08-04 1万+
原图     conv1层可视化结果 （96个filter得到的结果）     数据模型与准备 安装好Caffe后，在examples/images文件夹下有两张示例图像，本文即在这两张图像上，用Caffe提供的预训练模型，进行特征提取，并进行可视化。 1. 进入caffe根目录，创建临时文件夹，用于存放所需要的临时文件  
关于Protobuf的学习
01-11 6803
简介 protoBuf是google 的一种数据交换的格式，它独立于语言，独立于平台。google 提供了多种语言的实现：java、c#、c++、go 和 python，每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式，比使用 xml 进行数据交换快许多。 优点 与同类型的数据交换格式相比（诸如json，xml），由于protobuf是基于二进制数据传输格式，因此它
Protobuf 学习手册——语法篇
Jitwxs
01-19 3248
一、Override Protobuf1 是一种语言中立、平台无关、可扩展的序列化数据的格式，可用于通信协议，数据存储等。 ProtoBuf 在序列化数据方面，它是灵活的、高效的。相比于 XML 来说，ProtoBuf 更加小巧、更加快速、更加简单。一旦定义了要处理的数据的数据结构之后，就可以利用 ProtoBuf 的代码生成工具生成相关的代码。甚至可以在无需重新部署程序的情况下更新数据结构。只需...
protobuf序列化/反序列化性能及问题
热门推荐
s_sunnyy的博客
04-05 1万+
为了tensorflow项目要求测试protobuf序列化/反序列化的性能，测试过程及测试结果如下： 一. 测试环境 python 2.7 + proto3 二. 测试方法 1. 自定义一个proto消息（使用protobuf example里的例子，进行修改） message Person { string name = 1; int32 id = 2; // Uni
帮我修改下面的代码。要求建立一次weboscket链接，链接到wss://autopilot-test.t3go.cn:443/api/v1/vehicle/push/message/LFB1FV696M2L43840，当订阅到感知话题调用perceptionCallback时，通过wss发送serialized_data：#include "ros/ros.h"
06-09
给您提供一份修改后的代码： ```cpp #include "ros/ros.h" #include <websocketpp/config/asio_client.hpp> #include <websocketpp/client.hpp> #include <websocketpp/common/thread.hpp> #include <iostream> typedef websocketpp::client<websocketpp::config::asio_tls_client> client; class WebSocketClient { public: WebSocketClient() { // 设置websocket的回调函数 m_client.set_message_handler(std::bind(&WebSocketClient::on_message, this, std::placeholders::_1, std::placeholders::_2)); } void start() { // 连接到websocket服务器 websocketpp::lib::error_code ec; client::connection_ptr con = m_client.get_connection("wss://autopilot-test.t3go.cn:443/api/v1/vehicle/push/message/LFB1FV696M2L43840", ec); if (ec) { std::cout << "连接失败: " << ec.message() << std::endl; return; } // 运行websocket的事件循环 m_client.init_asio(); m_client.start_perpetual(); m_client.connect(con); websocketpp::lib::thread asio_thread(&client::run, &m_client); asio_thread.join(); } void perceptionCallback(const std_msgs::String::ConstPtr& msg) { // 发送消息到websocket服务器 std::string serialized_data = msg->data; m_client.send(serialized_data, websocketpp::frame::opcode::text); } private: void on_message(websocketpp::connection_hdl hdl, client::message_ptr msg) { // 处理websocket服务器返回的消息 std::cout << "收到消息: " << msg->get_payload() << std::endl; } client m_client; }; int main(int argc, char** argv) { ros::init(argc, argv, "websocket_client"); ros::NodeHandle nh; WebSocketClient ws_client; // 订阅感知话题 ros::Subscriber sub = nh.subscribe("perception_topic", 1000, &WebSocketClient::perceptionCallback, &ws_client); // 运行ROS事件循环 ros::spin(); return 0; } ``` 这份代码使用了websocketpp库来创建websocket客户端，并在ROS中订阅了一个感知话题。当收到该话题的消息时，就会将消息序列化后发送到websocket服务器。同时，也会监听websocket服务器返回的消息并进行处理。请注意，这份代码需要安装websocketpp库才能编译通过。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值