Protobuf 解除Protocol message的64M大小限制

最新推荐文章于 2022-01-24 15:00:06 发布
最新推荐文章于 2022-01-24 15:00:06 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： C++ Protocol Buffer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013776188/article/details/108981299
版权

问题如下：使用protobuf反序列化时超出message的大小（64M）限制而报错：

 

 

解决办法：

//获取message和其大小

google::protobuf::Message conFrameworkData；

int iSize;

//省略获取conFrameworkData和iSize的值

......

//根据实际获取的数据大小设置message的大小

google::protobuf::io::CodedInputStream cis(conFrameworkData, iSize);
cis.SetTotalBytesLimit(iSize, iSize);
appFramworkData.ParseFromCodedStream(&cis);

人生起猿
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
protobuf3.20.1-windows64
11-08
protobuf3.20.1-windows64是一个针对Windows 64位系统的Protocol Buffers（简称protobuf）库的版本。Protocol Buffers是Google开发的一种高效、跨平台的数据序列化协议，常用于结构化数据的存储、通信协议等方面。它...
protobuf编译器protocol，proto文件编译，grpc编译工具
06-10
protobuf（Protocol Buffers）是Google开发的一种数据序列化协议，用于高效地存储和传输结构化数据。它通过定义一种中间格式——`.proto`文件，来描述数据结构，并提供了编译器将这些描述转换为不同编程语言的源代码...
Protobuf的坑——解析的内容超出64M导致失败
haowunanhai的博客
02-05 7720
工作中Protobuf有两种常见用法：1，将数据序列化到buffer中，通过消息发送出去；2，将数据序列化到文件中，通过文件进行数据传递。在第一种使用场景下，一般都会注意到数据的大小，因为消息过大会导致发送和接收时处理多个分片，降低效率，几百KB就算多的了；而在第二种场景下不知不觉序列化后的文件就增长到了几十MB。  肆意增大的文件导致解析时执行ParseFromString()失败。一
google::protobuf::io::CodedInputStream SetTotalBytesLimit 使用解除64M限制
flyingleo1981的专栏
05-20 6980
google::protobuf::io::CodedInputStream InputStream((unsigned char*)sIn.c_str(), sIn.length());  InputStream.SetTotalBytesLimit(sIn.length(),sIn.length());  if (!m_pData->m_gglProtoBuf.ParseFromCoded
protobuf协议传输的最大值
h799710的博客
01-24 2567
一、直接看源码： 这是序列化打包的源代码： bool MessageLite::SerializePartialToArray(void* data, int size) const { const size_t byte_size = ByteSizeLong(); if (byte_size > INT_MAX) { // 只要不大于 2GB，那么都可以序列化 GOOGLE_LOG(ERROR) << GetTypeName() <&
Protoc Buffer 优化传输大小的一个细节
qianfeng_dashuju的博客
07-03 819
　　Protoc Buffer 是我们比较常用的序列化框架，Protocol Buffer 序列化后的占空间小，传输高效，可以在不同编程语言以及平台之间传输。今天这篇文章主要介绍 Protocol Buffer 使用 VarInt32 减少序列化后的数据大小。 　　VarInt32 编码 　　VarInt32 (vary int 32)，即：长度可变的 32 为整型类型。一般来说，int 类型...
libprotobuf: A protocol message was rejected because it was too big (more than 67108864 bytes) 解决方法
bidi2368的博客
02-21 1627
在Ubuntu系统, python调用protobuf, 出现错误 [libprotobuf ERROR google/protobuf/io/coded_stream.cc:207] A protocol message was rejected because it was too big (more than 67108864 bytes). To increase the limit (...
protobuf的使用
回头太难
05-22 782
编译protobuf： 下载源码，使用CMake编译。 注意我的项目用的是Qt mingw编译器，所以在CMake选择编译器的时候要选择mingw，而不是msvc。 使用mingw编译出来的库：protobuf.a，然后加上源码中的google/protobuf目录，事实上这里面有很多.proto文件和源文件可以删除了，甚至很多头文件都用不上。网上没见到提到这一点。 网上有的博客说编译动态库比较好，其实并不是。 .pro配置protobuf静态库： #添加使用mingw编译的protobuf库 I
解决ORC元数据片段超过protobuf message大小限制问题
L13763338360的博客
05-06 3359
问题描述 用datax将数据从业务库同步到数仓，hive表采用的是orc存储格式。业务表数据量比较大，4000多万，表有点复杂，表字段超过100个。花了3个小时左右同步完，select count(*)统计表数据量时报错，如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.In...
protobuf使用注意事项
浓浓的巧克力
04-27 6234
1.如果要在动态链接库中使用pb, 需要加上option optimize_for = LITE_RUNTIME;选项。 2.序列化和反序列化尽量使用 SerializeToArray(void* data, int size);  ParseFromArray(const void* data, int size); 一个pb的字节数可以使用ByteSize()来获取。
序列化协议Protobuf
万里归来少年心
01-30 847
1.序列化和反序列化     序列化: 将对象序列化为二进制数据（字节数组），一般也将序列化称为编码（Enccode），主要用于网络传输，数据持久化。    反序列化:  将从网络上，磁盘等读取的字节数组还原成原始对象，一般也将反序列化称为解码(Decode),主要用于网络传输对象的解码，以便完成远程调用。 2.选择序列化协议时，需要考虑什么？ 序列化之后的码流大小（占用网络带宽） 序列...
protobuf3.20.1-linux-aarch64
最新发布
11-08
protobuf（Protocol Buffers）是一种强大的工具，可将复杂的数据结构转换为二进制格式，用于网络通信和数据存储，具有比XML和JSON更小的体积和更快的解析速度。 在数据解析领域，protobuf的主要知识点包括： 1. **...
QT下使用的Protobuf(Protocol Buffer)动态链接库
05-16
标题中的“QT下使用的Protobuf(Protocol Buffer)动态链接库”指的是在QT开发环境中使用Google的Protocol Buffers（简称Protobuf）库，并且是针对动态链接库的使用情况。Protocol Buffers是一种序列化协议，它允许...
protobuf32位，64位包，实例
11-08
protobuf是Protocol Buffers的简称，它是Google开发的一种数据序列化协议，用于结构化数据的序列化，类似于XML、JSON，但更加高效且体积更小。它允许开发者定义数据结构，然后生成相应的代码，使得应用程序可以方便...
protobuf 如何解析（大于64MB）超大报文
傲然君
10-26 8926
为了阻止恶意用户发送超大报文，而导致int溢出或服务端为解析报文而分配大量内存致使内存耗尽，protobuf规定int溢出的默认值阈值是64MB（理论是512MB）。因此，当调用ParseFromString(str)方法时，若str的长度>64MB，返回会返回失败。注意到protobuf中包含这样一个函数：void SetTotalBytesLimit(int total_bytes_limit,
Protobuf使用手册
weixin_33785108的博客
08-04 938
Protobuf使用手册 第1章 定义.proto 文件 首先我们需要编写一个 proto 文件，定义我们程序中需要处理的结构化数据，在 protobuf 的术语中，结构化数据被称为 Message。proto 文件非常类似 java 或者 C 语言的数据定义，可以使用C或C++风格的注释。下面是一个proto文件的例子。 package tutorial; opti...
如何解析超长的protobuf
李旸的专栏
09-08 8114
在调用protobuf的ParseFromString(str)方法时，默认情况下，如果str的长度>64MB，会返回失败。http://code.google.com/intl/zh-CN/apis/protocolbuffers/docs/reference/cpp/google.protobuf.io.coded_stream.html#CodedInputStream.SetTotalBytesLimit.details这里给出了解释，主要是出于安全因素的考虑。可以通过SetTotalBytesLi
protobuf 数据解析的2种方法
拥剑的博客
12-19 2484
方法1： message person { required int32 age = 1; required int32 userid = 2; optional string name = 3; }   message test { required int32 time = 1; required int32 userid = 2; requir
Linux(服务器编程4.3):----项目应用层协议设计之protobuf总结
Daback01的博客
07-19 434
1，Protobuf简介 protobuf是google提供的一个开源序列化框架，类似于XML，JSON这样的数据表示语言，其最大的特点是基于二进制，因此比传统的XML表示高效短小得多。虽然是二进制数据格式，但并没有因此变得复杂，开发人员通过按照一定的语法定义结构化的消息格式，然后送给命令行工具，工具将自动生成相关的类，可以支持php、java、c++、python等语言环境。通过将这些类包含在项目中，可以很轻松的调用相关方法来完成业务消息的序列化与反序列化工作。 protobuf在google中是
Pinus client 中如何使用protobuf 和protocol
05-24
Pinus client 中使用 protobuf 和 protocol 的具体步骤如下： 1. 安装 protobuf 库 在 Pinus client 中使用 protobuf，首先需要在项目中安装 protobuf 库。可以使用 npm 命令进行安装： ``` npm install protobuf --save ``` 2. 编写 .proto 文件 在项目根目录中创建一个 .proto 文件，定义数据结构和消息格式。例如，可以创建一个名为 message.proto 的文件，其中包含以下内容： ``` syntax = "proto3"; message Message { string content = 1; } ``` 该文件定义了一个名为 Message 的消息，其中包含一个名为 content 的字符串。 3. 使用 protoc 编译 .proto 文件 使用 protoc 工具将 .proto 文件编译成 JavaScript 代码。可以使用以下命令进行编译： ``` protoc --js_out=import_style=commonjs,binary:. message.proto ``` 该命令将会在同级目录下生成一个名为 message_pb.js 的文件，包含了 JavaScript 版本的 Message 类。 4. 在 Pinus client 中使用 protobuf 在 Pinus client 中使用 protobuf，需要在代码中引入生成的 message_pb.js 文件，并使用其中的 Message 类。例如： ``` const protobuf = require("protobufjs"); const Message = require("./message_pb").Message; // 创建一个新的 Message 实例 const message = new Message(); message.setContent("Hello, world!"); // 将 Message 实例转换成二进制数据 const buffer = message.serializeBinary(); // 将二进制数据发送给服务器 client.request("connector.entryHandler.sendMessage", { data: buffer }, (err, res) => { // 处理服务器返回的响应 }); ``` 在上述代码中，我们首先使用 require 引入了 protobuf 库和生成的 message_pb.js 文件。然后，创建一个新的 Message 实例并将其内容设置为 "Hello, world!"。接着，使用 serializeBinary 方法将 Message 实例转换成二进制数据，并使用 Pinus client 的 request 方法将数据发送给服务器。 在服务器端接收到二进制数据后，可以使用 protobuf 库将其解析成 Message 对象。例如： ``` const protobuf = require("protobufjs"); const Message = require("./message_pb").Message; // ... 接收到二进制数据后 ... // 将二进制数据解析成 Message 实例 const message = Message.deserializeBinary(buffer); console.log("Received message: " + message.getContent()); ``` 在上述代码中，我们首先使用 require 引入了 protobuf 库和生成的 message_pb.js 文件。然后，使用 deserializeBinary 方法将接收到的二进制数据解析成 Message 实例，并使用 getContent 方法获取其中的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值