Google开源协议Protobuf的简介及其序列化原理

最新推荐文章于 2024-05-31 15:42:57 发布
置顶 最新推荐文章于 2024-05-31 15:42:57 发布
阅读量3.2w 收藏 59
点赞数 12
文章标签： protobuf 序列化方法 数据传输与交换格式 Google开源协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengzi_comm/article/details/53199278
版权

protobuf介绍及其序列化原理

什么是probobuf、作用是什么:

　　　Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API。

protobuf协议是以一个 .proto 后缀的文件为基础，这个文件描述了存在哪些数据，数据类型是怎么样的。

修饰符

  • required : 　不可以增加或删除的字段，必须初始化；
  • optional : 　 可选字段，可删除，可以不初始化；
  • repeated : 　可重复字段， 对应到java文件里，生成的是List。

protobuf使用

假设有一个person.proto的文件，使用protoc编译器，编译该文件： 

protoc -I=SRC_DIR --cpp_out=DST_DIR person.proto

这里以C++为例，上面cpp表示生成C++文件；protobuf协议还支持Java、Python语言，可以换成相应的类型；
上面SRC_DIR表示的是.proto文件所在的路径，DST_DIR表示的是要生成的文件存放到哪里。
这句执行完，就会在DST_DIR目录生成两个文件

最低0.47元/天 解锁文章
Muyip
关注
  • 12
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
google开源数据协议protolbuf认识和使用
weixin_43277501的博客
07-26 448
1、认识protolbuf 有几篇文章连续深入介绍protolbuf，看完第一篇之后，可以先进行2测试实验，再看深入系列 深入 ProtoBuf - 简介 - 简书 (jianshu.com)：https://www.jianshu.com/p/a24c88c0526a 深入 ProtoBuf - 编码：https://www.jianshu.com/p/73c9ed3a4877 深入 ProtoBuf - 序列化源码解析：https://www.jianshu.com/p/62f0238be...
protobuf底层原理深度分析
weixin_44545838的博客
06-16 2939
前面利用的到protobuf作为rpc的通讯协议，c++与golang利用protobuf进行通讯但是没有真正得深入研究过。本文将不再介绍如何使用它而是深入研究protobuf协议，本文从编解码方式、数据存储方式以及序列化原理三个方面出发深度分析其底层原理。
详细介绍Protobuf协议
最新发布
u012903034的博客
05-31 1017
Protobuf是一种语言中立、平台无关的可扩展机制，用于序列化结构化数据。它被设计为高效地在不同系统之间传输数据或在磁盘上存储数据。Protobuf的主要优势在于其紧凑、高效和灵活的二进制格式。首先，需要定义一个.proto文件来描述数据结构。
【Protobuf】Protobuf协议
Leoh的博客
12-22 1126
Protobuf协议
Protobuf应用层协议设计
jianfeng123123的博客
11-29 1302
什么协议：协议是⼀种约定，通过约定，不同的进程可以对⼀段数据产⽣相同的理解，从⽽可以相互协作，存在进程间通信的程序就⼀定需要协议。为什么说进程间通信就需要协议？⽽不是说客户端和服务器端之前？为什么需要⾃⼰设计协议？⽐如不同表的插头，还需要进⾏各种转换，如果我们两端进⾏通信没有约定好协议，那彼此是不知道对⽅发送的数据是什么意义。
Protobuf简介
weixin_46272577的博客
04-23 1万+
什么是 Protobuf Protobuf是Protocol Buffers的简称，它是Google公司开发的一种数据描述语言，用于描述一种轻便高效的结构化数据存储格式，并于2008年对外开源。Protobuf可以用于结构化数据串行化，或者说序列化。它的设计非常适用于在网络通讯中的数据载体，很适合做数据存储或 RPC 数据交换格式，它序列化出来的数据量少再加上以 K-V 的方式来存储数据，对消息的版本兼容性非常强，可用于通讯协议、数据存储等领域的语言无关、平台...
Apple 团队开源的基于 Google Protocol Buffer ("protobuf") 序列化技术的运行时库.zip
10-12
Protocol Buffers是一种高效的数据序列化协议，由Google开发，用于结构化数据的编码和解码。它提供了一种平台无关、语言无关的方式，使得数据能够在不同的系统之间进行交换。 这个开源项目的核心在于提供了Swift...
protobuf/thrift/avro-序列化性能测试工程
08-22
protobuf是Google开发的一种高效的数据序列化协议，它提供了简洁、快速和跨平台的序列化方法。protobuf通过定义.proto文件（放置在src/main/resource目录下）来描述数据结构，然后使用编译器（在lib目录中的工具）...
protobuf解析以及在android端反序列化Demo
分享+记录
06-11 1512
最近看了下protobuf，研究的版本还是比较老的2.6.1，最主要的原因是对protobuf能否压缩传输数据的原理感兴趣。写个博客记录一下，免得以后忘了。 先附上github的demo地址：https://github.com/aa5279aa/protobuff_androiddemo demo当中包含 1、客户端工程ProtobufClient，客户端通过注解进行反序列化 2、服务端...
深入解析protobuf 1-proto3 使用及编解码原理介绍
白日梦程序员的博客
12-10 5013
前面已经讲了grpc基础使用，其中用到了Protocol buffers，这次先讲下Protocol Buffers的基本使用，和编解码原理。后面会有高级教程讲如何二次开发proto-gen-go ，protobuf 官方功能并不是很完善的，在日常项目中，常常有自定义需求，更多的是使用官方protoc-gen-go 这个项目fork 后自定义版本，或者是比较优秀的开源 fork 版本。目前使用最多的是gogo protobuf，后面都会出详细教程。本文章内容几乎翻译整理自官方文档，额外添加了go相关的例子,
ProtoBuf序列化解析
pocher的博客
08-08 5532
深入 ProtoBuf 序列化、反序列化的源码，从代码的层面理解 ProtoBuf 具体是如何实现对数据的编码（序列化）和解码（反序列化）的。 我们重新复习一下， ProtoBuf 的序列化使用过程： 定义 .proto 文件 protoc 编译器编译 .proto 文件生成一系列接口代码 调用生成的接口实现对 .proto 定义的字段的读取以及 message 对象的序列化、反序列化方法 具体调用代码如下： Example1 example1; example1.set_int32val(
ProtoBuf协议详解
黑曼巴
10-06 1026
protobuf是由Google开发的一套对数据结构进行序列化的方法，可用做通信协议，数据存储格式等等。其特点是不限语言、不限平台、扩展性强。 语言无关、平台无关：即 ProtoBuf 支持 Java、C++、Python 等多种语言，支持多个平台。 高效：即比 XML 更小（3 ~ 10倍）、更快（20 ~ 100倍）、更为简单。 扩展性、兼容性好：你可以更新数据结构，而不影响和破坏原有的旧程序。 ...
5种开源协议比较
as good as well
08-04 789
BSD开源协议 BSD开源协议是一个给于使用者很大自由的协议。基本上使用者可以”为所欲为”,可以自由的使用，修改源代码，也可以将修改后的代码作为开源或者专有软件再发布。 但”为所欲为”的前提当你发布使用了BSD协议的代码，或则以BSD协议代码为基础做二次开发自己的产品时，需要满足三个条件： 如果再发布的产品中包含源代码，则在源代码中必须带有原来代码中的BSD协议。 如果再发布的只是二
Protobuf编码原理
Bobowen的博客
09-20 374
protobuf编码原理
Google Protobuf编解码（序列化/反序列化）框架
weixin_45381845的博客
09-01 1312
最近工作中使用到protobuffer，查了很多资料，这篇有用，转发收藏，留着以后查阅 本文转自：https://my.oschina.net/pierrecai/blog/873359
google protobuf原理
qq_37764129的博客
03-28 559
一、原理 protobuf全称Google Protocol Buffers，是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库。它和XML或者JSON差不多，也就是把某种数据结构的信息，以某种格式（XML，JSON）保存起来，protobuf与XML和JSON不同在于，protobuf是基于二进制的。主要用于数据存储、传输协议格式等场合。那既然有了XML等工具，为什么还要...
protobuf序列化/反序列化性能及问题
热门推荐
s_sunnyy的博客
04-05 1万+
为了tensorflow项目要求测试protobuf序列化/反序列化的性能，测试过程及测试结果如下： 一. 测试环境 python 2.7 + proto3 二. 测试方法 1. 自定义一个proto消息（使用protobuf example里的例子，进行修改） message Person { string name = 1; int32 id = 2; // Uni
protobuf3 从object-c角度学习数据编码
taishanduba的专栏
02-25 1873
一.protobuf编码类型protobuf.一共有6中编码方式,其中group目前已不建议使用.* WireVarint = 0 // int32, int64, uint32, * uint64, ,sint32 sint64, bool, enum. 变长，1-10个字节，用VARINT编码且压缩 * WireFixed64 = 1 // fixed64, sfixed64,
protobuf-net 序列化
05-13
protobuf-net 是一个开源的 .NET 序列化库，用于将 .NET 对象序列化为二进制格式。protobuf-net 使用 Google 的 Protocol Buffers 作为数据格式，并支持 .NET Framework、.NET Standard 和 .NET Core 等平台。 以下是 protobuf-net 序列化的基本步骤： 1. 安装 protobuf-net NuGet 包 在 Visual Studio 中，可以通过 NuGet 包管理器或控制台安装 protobuf-net 包。 2. 定义数据模型 定义需要序列化的数据模型，并使用 protobuf-net 的特性来标记每个字段。例如： ```csharp [ProtoContract] public class Person { [ProtoMember(1)] public int Id { get; set; } [ProtoMember(2)] public string Name { get; set; } [ProtoMember(3)] public int Age { get; set; } } ``` 3. 序列化对象 使用 protobuf-net 的 Serializer.Serialize 方法将对象序列化为二进制格式。例如： ```csharp var person = new Person { Id = 1, Name = "Alice", Age = 30 }; using (var stream = new MemoryStream()) { Serializer.Serialize(stream, person); var bytes = stream.ToArray(); } ``` 4. 反序列化对象 使用 protobuf-net 的 Serializer.Deserialize 方法将二进制数据反序列化为对象。例如： ```csharp using (var stream = new MemoryStream(bytes)) { var person = Serializer.Deserialize<Person>(stream); } ``` 以上是 protobuf-net 序列化的基本步骤，可以根据实际需求进行调整和扩展。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值