GO语言:Protobuf协议语法及原理_go protobuf 默认字节序(1)

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供:

在这里插入图片描述

因篇幅有限,仅展示部分资料

网络安全面试题

绿盟护网行动

还有大家最喜欢的黑客技术

网络安全源码合集+工具包

所有资料共282G,朋友们如果有需要全套《网络安全入门+黑客进阶学习资源包》,可以扫描下方二维码领取(如遇扫码问题,可以在评论区留言领取哦)~

需要体系化学习资料的朋友,可以加我V获取:vip204888 (备注网络安全)

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化资料的朋友,可以点击这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • **枚举类型:**proto协议支持使用枚举类型,和正常的编程语言一样,枚举类型可以使用enum关键字定义在.proto文件中:
enum Age{
 male=1;
 female=2;
  }
  • 字段默认值:.proto文件支持在进行message定义时设置字段的默认值,可以通过default进行设置,如下所示:
message Address {
        required sint32 id = 1 [default = 1];
        required string name = 2 [default = '北京'];
        optional string pinyin = 3 [default = 'beijing'];
        required string address = 4;
        required bool flag = 5 [default = true];
    }
  • **导入:**如果需要引用的message是写在别的.proto文件中,可以通过import "xxx.proto"来进行引入:
  • **嵌套:**message与message之间可以嵌套定义,比如如下形式:
 syntax = "proto2";
  package example;
  message Person {
      required string Name = 1;
      required int32 Age = 2;
      required string From = 3;
      optional Address Addr = 4;
      message Address {
          required sint32 id = 1;
          required string name = 2;
          optional string pinyin = 3;
          required string address = 4;
      }
  }
  • **message更新规则:**message定义以后如果需要进行修改,为了保证之前的序列化和反序列化能够兼容新的message,message的修改需要满足以下规则:
    • 不可以修改已存在域中的标识号。
    • 所有新增添的域必须是 optional 或者 repeated。
    • 非required域可以被删除。但是这些被删除域的标识号不可以再次被使用。
    • 非required域可以被转化,转化时可能发生扩展或者截断,此时标识号和名称都是不变的。
    • sint32和sint64是相互兼容的。
    • fixed32兼容sfixed32。 fixed64兼容sfixed64。
    • optional兼容repeated。发送端发送repeated域,用户使用optional域读取,将会读取repeated域的最后一个元素。

Protobuf 序列化后所生成的二进制消息非常紧凑,这得益于 Protobuf 采用的非常巧妙的 Encoding 方法。接下来看一看Protobuf协议是如何实现高效编码的。

Protobuf序列化原理

之前已经做过描述,Protobuf的message中有很多字段,每个字段的格式为:修饰符 字段类型 字段名 = 域号;

Varint

Varint是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字,值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。

Varint中的每个byte的最高位bit有特殊的含义,如果该位为1,表示后续的byte也是该数字的一部分,如果该位为0,则结束。其他的7个bit都用来表示数字。因此小于128的数字都可以用一个byte表示。大于128的数字,比如300,会用两个字节来表示:1010 1100 0000 0010。下图演示了 Google Protocol Buffer 如何解析两个bytes。注意到最终计算前将两个byte的位置相互交换过一次,这是因为 Google Protocol Buffer 字节序采用little-endian的方式。

在序列化时,Protobuf按照TLV的格式序列化每一个字段,T即Tag,也叫Key;V是该字段对应的值value;L是Value的长度,如果一个字段是整形,这个L部分会省略。

序列化后的Value是按原样保存到字符串或者文件中,Key按照一定的转换条件保存起来,序列化后的结果就是 KeyValueKeyValue…依次类推的样式,示意图如下所示:

采用这种Key-Pair结构无需使用分隔符来分割不同的Field。对于可选的Field,如果消息中不存在该field,那么在最终的Message Buffer中就没有该field,这些特性都有助于节约消息本身的大小。比如,我们有消息order1:

Order.id = 10;


### 一、网安学习成长路线图


网安所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/aa7be04dc8684d7ea43acc0151aebbf1.png)


### 二、网安视频合集


观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/f0aeee2eec7a48f4ad7d083932cb095d.png)


### 三、精品网安学习书籍

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/078ea1d4cda342f496f9276a4cda5fcf.png)


### 四、网络安全源码合集+工具包

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。  
 **需要体系化学习资料的朋友,可以加我V获取:vip204888 (备注网络安全)**

![在这里插入图片描述](https://img-blog.csdnimg.cn/e54c0bac8f3049928b488dc1e5080fc5.png)


### 五、网络安全面试题


最后就是大家最关心的网络安全面试题板块  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/15c1192cad414044b4dd41f3df44433d.png)![在这里插入图片描述](https://img-blog.csdnimg.cn/b07abbfab1fd4edc800d7db3eabb956e.png)  



**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友,可以点击这里获取](https://bbs.csdn.net/topics/618540462)**

**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 这些函数是Protocol Buffers库生成的C语言代码的内部函数,主要用于将结构体数据序列化为二进制形式并写入缓冲区或反之。 具体使用方法如下: - `__pack`:将结构体数据序列化为二进制形式,并写入给定的缓冲区中。 - `__pack_to_buffer`:与`__pack`类似,但是可以指定写入缓冲区的起始位置和大小。 使用这些函数的前提是你已经定义了一个Protocol Buffers消息类型,并且使用Protocol Buffers编译器生成了对应的C语言代码。接下来你可以在你的C语言程序中定义一个结构体变量,并使用`__pack`或`__pack_to_buffer`函数来序列化该结构体变量的数据。 例如: ``` MyMessage message; uint8_t buffer[128]; // 填充消息结构体的数据 message.field1 = 123; message.field2 = "hello"; // 将消息结构体的数据序列化到缓冲区中 size_t size = MyMessage__pack(&message, buffer); ``` 这样,你就可以得到一个二进制序列化后的消息数据,你可以将其发送到网络上,或者存储到文件中。对端可以使用相应的`__unpack`函数将该二进制数据反序列化为结构体变量,并读取其中的数据。 ### 回答2: Protobuf是一种用于序列化结构化数据的协议。当使用Protobuf编译时,会生成一组.c和.h文件。其中,前缀为__pack的函数用于将结构化数据打成二进制格式,而前缀为__pack_to_buffer的函数则将打后的数据写入缓冲区中。 使用__pack函数时,需要传入待打的数据结构对象和一个ProtoBufCBuffer对象作为参数。ProtoBufCBuffer会被__pack函数用于存储打后的数据。例如: ``` MyStructure data; // 定义一个结构体对象 ProtoBufCBuffer buffer; // 定义一个数据缓冲区 // 将数据打到缓冲区中 __pack(&data, &buffer); ``` 使用__pack_to_buffer函数时,需要传入待打的数据结构对象、一个ProtoBufCBuffer对象和一个size_t类型的参数,表示缓冲区的大小。__pack_to_buffer函数会将打后的数据写入缓冲区中,如果缓冲区大小不足,会返回一个负值,表示出错。例如: ``` MyStructure data; // 定义一个结构体对象 ProtoBufCBuffer buffer; // 定义一个数据缓冲区 size_t bufferSize = 1024; // 定义缓冲区大小 // 打数据并写入缓冲区 int result = __pack_to_buffer(&data, &buffer, bufferSize); if (result < 0) { // 打失败,处理错误 } else { // 打成功,继续处理 } ``` 需要注意的是,在使用__pack函数或__pack_to_buffer函数之前,需要先初始化ProtoBufCBuffer对象和设置好待打的数据结构对象的各个字段值。 这样,就可以使用Protobuf生成的.c文件中的__pack和__pack_to_buffer函数来对数据进行打和写入缓冲区的操作了。 ### 回答3: protobuf是一种用于序列化结构化数据的开源软件库,它将数据进行编码,使其在不同平台之间进行传输和存储变得更加容易。通过使用protobuf编译器,我们可以将.proto文件生成为对应的.c文件,其中含了用于操作序列化数据的函数。 在生成的.c文件中,我们可以找到以__pack、__pack_to_buffer等形式命名的函数。这些函数通常用于将数据打为二进制形式或从二进制数据中解析出结构化数据。 使用__pack函数,我们可以将结构化数据打为二进制形式。该函数的基本语法如下: ```c bool __pack(ProtobufCMessage *message, uint8_t *buffer); ``` 其中,message是待打的结构化数据,buffer是用于存储打后数据的缓冲区。该函数会将打后的数据写入缓冲区,并返回一个布尔值表示操作是否成功。 使用__pack_to_buffer函数,我们可以将结构化数据打为二进制形式并指定缓冲区大小。该函数的基本语法如下: ```c size_t __pack_to_buffer(ProtobufCMessage *message, uint8_t *buffer, size_t buffer_len); ``` 其中,message是待打的结构化数据,buffer是用于存储打后数据的缓冲区,buffer_len是缓冲区的大小。该函数会将打后的数据写入缓冲区,并返回实际写入的字节数。 通过调用这些函数,我们可以将结构化数据以二进制形式进行打,并在需要时进行解。这些函数在使用过程中还可以搭配其他protobuf提供的函数一起使用,从而实现更复杂的功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值