GO语言:Protobuf协议语法及原理_go protobuf 默认字节序

  • **标识号:**在消息的定义中,每个字段等号后面都有唯一的标识号,用于在反序列化过程中识别各个字段的,一旦开始使用就不能改变。标识号从整数1开始,依次递增,每次增加1,标识号的范围为1~(2^99)-1,其中[19000-19999]为Protobuf协议预留字段,开发者不建议使用该范围的标识号;一旦使用,在编译时Protoc编译器会报出警告。
  • **字段规则:**字段规则有三种:
    • 1、required:该规则规定,消息体中该字段的值是必须要设置的。
    • 2、optional:消息体中该规则的字段的值可以存在,也可以为空,optional的字段可以根据defalut设置默认值。
    • repeated:消息体中该规则字段可以存在多个(包括0个),该规则对应java的数组或者go语言的slice。
  • **数据类型:**常见的数据类型与protoc协议中的数据类型映射如下:

  • **枚举类型:**proto协议支持使用枚举类型,和正常的编程语言一样,枚举类型可以使用enum关键字定义在.proto文件中:
enum Age{
 male=1;
 female=2;
  }
  • 字段默认值:.proto文件支持在进行message定义时设置字段的默认值,可以通过default进行设置,如下所示:
message Address {
        required sint32 id = 1 [default = 1];
        required string name = 2 [default = '北京'];
        optional string pinyin = 3 [default = 'beijing'];
        required string address = 4;
        required bool flag = 5 [default = true];
    }
  • **导入:**如果需要引用的message是写在别的.proto文件中,可以通过import "xxx.proto"来进行引入:
  • **嵌套:**message与message之间可以嵌套定义,比如如下形式:
 syntax = "proto2";
  package example;
  message Person {
      required string Name = 1;
      required int32 Age = 2;
      required string From = 3;
      optional Address Addr = 4;
      message Address {
          required sint32 id = 1;
          required string name = 2;
          optional string pinyin = 3;
          required string address = 4;
      }
  }
  • **message更新规则:**message定义以后如果需要进行修改,为了保证之前的序列化和反序列化能够兼容新的message,message的修改需要满足以下规则:
    • 不可以修改已存在域中的标识号。
    • 所有新增添的域必须是 optional 或者 repeated。
    • 非required域可以被删除。但是这些被删除域的标识号不可以再次被使用。
    • 非required域可以被转化,转化时可能发生扩展或者截断,此时标识号和名称都是不变的。
    • sint32和sint64是相互兼容的。
    • fixed32兼容sfixed32。 fixed64兼容sfixed64。
    • optional兼容repeated。发送端发送repeated域,用户使用optional域读取,将会读取repeated域的最后一个元素。

Protobuf 序列化后所生成的二进制消息非常紧凑,这得益于 Protobuf 采用的非常巧妙的 Encoding 方法。接下来看一看Protobuf协议是如何实现高效编码的。

Protobuf序列化原理

之前已经做过描述,Protobuf的message中有很多字段,每个字段的格式为:修饰符 字段类型 字段名 = 域号;

Varint

本人从事网路安全工作12年,曾在2个大厂工作过,安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过,对这个行业了解比较全面。

最近遍览了各种网络安全类的文章,内容参差不齐,其中不伐有大佬倾力教学,也有各种不良机构浑水摸鱼,在收到几条私信,发现大家对一套完整的系统的网络安全从学习路线到学习资料,甚至是工具有着不小的需求。

最后,我将这部分内容融会贯通成了一套282G的网络安全资料包,所有类目条理清晰,知识点层层递进,需要的小伙伴可以点击下方小卡片领取哦!下面就开始进入正题,如何从一个萌新一步一步进入网络安全行业。

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图,这里我给大家分享一份打磨了3个月,已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字,还是生动的视频教程更加适合零基础的同学们学习,这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然,当你入门之后,仅仅是视频教程已经不能满足你的需求了,你肯定需要学习各种工具的使用以及大量的实战项目,这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战,这里带来的是SRC资料&HW资料,毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底,我们的最终目的都是为了就业,所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过!

  • 17
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 这些函数是Protocol Buffers库生成的C语言代码的内部函数,主要用于将结构体数据序列化为二进制形式并写入缓冲区或反之。 具体使用方法如下: - `__pack`:将结构体数据序列化为二进制形式,并写入给定的缓冲区中。 - `__pack_to_buffer`:与`__pack`类似,但是可以指定写入缓冲区的起始位置和大小。 使用这些函数的前提是你已经定义了一个Protocol Buffers消息类型,并且使用Protocol Buffers编译器生成了对应的C语言代码。接下来你可以在你的C语言程序中定义一个结构体变量,并使用`__pack`或`__pack_to_buffer`函数来序列化该结构体变量的数据。 例如: ``` MyMessage message; uint8_t buffer[128]; // 填充消息结构体的数据 message.field1 = 123; message.field2 = "hello"; // 将消息结构体的数据序列化到缓冲区中 size_t size = MyMessage__pack(&message, buffer); ``` 这样,你就可以得到一个二进制序列化后的消息数据,你可以将其发送到网络上,或者存储到文件中。对端可以使用相应的`__unpack`函数将该二进制数据反序列化为结构体变量,并读取其中的数据。 ### 回答2: Protobuf是一种用于序列化结构化数据的协议。当使用Protobuf编译时,会生成一组.c和.h文件。其中,前缀为__pack的函数用于将结构化数据打包成二进制格式,而前缀为__pack_to_buffer的函数则将打包后的数据写入缓冲区中。 使用__pack函数时,需要传入待打包的数据结构对象和一个ProtoBufCBuffer对象作为参数。ProtoBufCBuffer会被__pack函数用于存储打包后的数据。例如: ``` MyStructure data; // 定义一个结构体对象 ProtoBufCBuffer buffer; // 定义一个数据缓冲区 // 将数据打包到缓冲区中 __pack(&data, &buffer); ``` 使用__pack_to_buffer函数时,需要传入待打包的数据结构对象、一个ProtoBufCBuffer对象和一个size_t类型的参数,表示缓冲区的大小。__pack_to_buffer函数会将打包后的数据写入缓冲区中,如果缓冲区大小不足,会返回一个负值,表示出错。例如: ``` MyStructure data; // 定义一个结构体对象 ProtoBufCBuffer buffer; // 定义一个数据缓冲区 size_t bufferSize = 1024; // 定义缓冲区大小 // 打包数据并写入缓冲区 int result = __pack_to_buffer(&data, &buffer, bufferSize); if (result < 0) { // 打包失败,处理错误 } else { // 打包成功,继续处理 } ``` 需要注意的是,在使用__pack函数或__pack_to_buffer函数之前,需要先初始化ProtoBufCBuffer对象和设置好待打包的数据结构对象的各个字段值。 这样,就可以使用Protobuf生成的.c文件中的__pack和__pack_to_buffer函数来对数据进行打包和写入缓冲区的操作了。 ### 回答3: protobuf是一种用于序列化结构化数据的开源软件库,它将数据进行编码,使其在不同平台之间进行传输和存储变得更加容易。通过使用protobuf编译器,我们可以将.proto文件生成为对应的.c文件,其中包含了用于操作序列化数据的函数。 在生成的.c文件中,我们可以找到以__pack、__pack_to_buffer等形式命名的函数。这些函数通常用于将数据打包为二进制形式或从二进制数据中解析出结构化数据。 使用__pack函数,我们可以将结构化数据打包为二进制形式。该函数的基本语法如下: ```c bool __pack(ProtobufCMessage *message, uint8_t *buffer); ``` 其中,message是待打包的结构化数据,buffer是用于存储打包后数据的缓冲区。该函数会将打包后的数据写入缓冲区,并返回一个布尔值表示操作是否成功。 使用__pack_to_buffer函数,我们可以将结构化数据打包为二进制形式并指定缓冲区大小。该函数的基本语法如下: ```c size_t __pack_to_buffer(ProtobufCMessage *message, uint8_t *buffer, size_t buffer_len); ``` 其中,message是待打包的结构化数据,buffer是用于存储打包后数据的缓冲区,buffer_len是缓冲区的大小。该函数会将打包后的数据写入缓冲区,并返回实际写入的字节数。 通过调用这些函数,我们可以将结构化数据以二进制形式进行打包,并在需要时进行解包。这些函数在使用过程中还可以搭配其他protobuf提供的函数一起使用,从而实现更复杂的功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值