解决protobuf数据丢失bug

protobuf是Google开发的一个开源序列化框架,类似XML,JSON,其最大的特点是基于二进制,比传统的XML表示同样一段内容要短小得多。通过protobuf,可以很轻松的调用相关方法来完成业务数据的序列化与反序列化。但是,protobuf在使用当中也发现一些问题,数据在protobuf序列化后无法反序列化,或者丢失部分数据,这就与protobuf的目的违背。下面我们来看下这个问题吧。

首先定义一个protobuf结构,如下:

message Person {
  required int32 mid = 1;
  required int32 type = 2;
}
再来看下这段代码,看似没有问题:

Person psn0;
psn0.set_mid(1);
psn0.set_type(0);

string str0;
psn0.SerializeToString(&str0);

// 由于网络传输, string 需要转换成 char*
const char* buf = str0.c_str();

// 如果是这样解析,将会引起bug
string str1 = buf;

People psn1;
bool ret1 = psn1.ParseFromString(str1);

if (ret1)
{
	cout << "str1 parse success" << endl;
}
else
{
	cout << "str1 parse fail" << endl;
}

// 这样解析不会引起bug
string str2;
str2.assign(buf, str0.length());

People psn2;
bool ret2 = psn2.ParseFromString(str2);

if (ret2)
{
	cout << "str2 parse success" << endl;
}
else
{
	cout << "str2 parse fail" << endl;
}

运行结果,如下:

str1 parse fail
str2 parse success

这里解释一下原因:在以上例子中,protobuf 序列化的 string 数据里含有 '\0' 字符。如果以 char* 取protobuf序列化后的数据,将会丢失部分数据。

虽然这个严格意义来讲也不算protobuf的bug,但在protobuf的使用中一般很少人注意protobuf 的数据中带有 '\0' 字符,这就导致了bug的发生。

参考:

http://blog.csdn.net/mycwq/article/details/19619875

  • 6
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
### 回答1: ProtobufProtocol Buffers)是Google开发的一种数据序列化格式,用于结构化数据的编码和解码。它被广泛应用于大型分布式系统中,用于消息通信、数据存储和配置文件等方面。 Protobuf 3.12.3是Protobuf的一个特定版本。在这个版本中,它引入了一些新的功能和修复了一些Bug。更新版本的Protobuf通常会改进性能、增强兼容性和修复安全问题。 对于开发者来说,使用Protobuf 3.12.3有以下几个好处: 1. 更简洁的语法:Protobuf采用一种类似于结构化的语法来定义数据类型,相对于XML和JSON等其他格式,它更简洁、可读性强。 2. 更高效的编码和解码:Protobuf使用二进制编码,相比于文本格式的传输,它占用更少的空间,传输效率更高,并且可以快速解码。 3. 跨语言兼容性:Protobuf支持多种语言,包括C++、Java、Python等,因此可以轻松地在不同的平台和语言之间进行数据交互。 4. 可扩展性:在Protobuf中,可以通过使用扩展字段和共享文件来轻松添加、修改和删除数据的字段,而不会破坏已有数据的兼容性。 5. 强大的兼容性:Protobuf支持向前和向后兼容性,即使在消息结构发生变化时,已有的代码也可以继续工作,不会导致数据丢失或解析错误。 综上所述,Protobuf 3.12.3是一个高效、可扩展、跨语言的数据序列化工具,可以帮助开发者在分布式系统中处理结构化数据,并提供了简洁的语法和良好的兼容性。 ### 回答2: ProtobufProtocol Buffers)是一种开源的跨语言数据序列化格式,可以用于结构化数据的存储和传输。Protobuf使用.proto文件来定义数据结构,然后根据这些定义自动生成相应的代码。 Protobuf 3.12.3是Protobuf的一个版本,它在之前版本的基础上进行了一些改进和修复。以下是它的一些主要特点: 1. 更好的性能:Protobuf 3.12.3通过减少序列化和反序列化所需的字节、减少内存分配以及避免额外的复制,提供了更好的性能。 2. 支持新的语言特性:Protobuf 3.12.3支持一些新的语言特性,如标量字段的多行字符串语法、任意长度的整数和浮点数。 3. 改进的错误处理机制:Protobuf 3.12.3引入了更好的错误处理机制,使得在解析和序列化过程中发生错误时能够更精确地报告错误的位置和原因。 4. 支持自动换为JSONProtobuf 3.12.3可以自动将Protobuf对象换为JSON格式,简化了与其他系统之间的数据交换。 5. 继承的支持:Protobuf 3.12.3现在支持消息之间的继承,可以通过继承来构建更复杂的数据模型。 总之,Protobuf 3.12.3是Protobuf的一个新版本,通过改进性能、支持新的语言特性、改进错误处理机制等,使得它更加强大和易用。使用Protobuf可以帮助开发人员更高效地处理结构化数据,并且可以在不同编程语言之间轻松地进行数据交换。 ### 回答3: protobuf 3.12.3 是一种用于数据序列化和反序列化的开源库。它由谷歌公司开发并维护,被广泛应用于跨平台和跨语言的数据交换。 protobuf 3.12.3 支持多种编程语言,如C++、Java、Python等,可以方便地在不同的编程环境中使用。使用 protobuf 3.12.3,我们可以将结构化数据(如对象、消息等)换成字节流,通过网络传输或存储到磁盘中。同时,protobuf 3.12.3 也可以将字节流换回对应的数据结构,实现反序列化。 protobuf的一个主要优点是其二进制格式紧凑且效率高,相比其他文本序列化格式(如JSON、XML等),它占用更少的存储空间和网络带宽,提供了更高的数据传输效率。 protobuf 3.12.3 提供了强大的类型系统和灵活的扩展机制。我们可以定义消息的字段类型、编码规则、默认值等,还可以进行消息的嵌套和继承。此外,protobuf 3.12.3 还支持对已有消息进行向前和向后的兼容性处理,当协议发生变更时,我们可以通过协议缓冲区兼容性机制来确保新旧版本的数据之间的互通。 总之,protobuf 3.12.3 是一个强大的数据序列化和反序列化工具,通过它,我们可以方便地在不同的平台和语言之间进行数据交换,提高数据传输的效率和可靠性。同时,protobuf 3.12.3 还具备强大的类型系统和灵活的扩展机制,为我们处理复杂的数据结构提供了便利。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值