探究Google Proto Buf 序列化工具为什么高效

最新推荐文章于 2024-01-19 15:17:20 发布
最新推荐文章于 2024-01-19 15:17:20 发布
阅读量527 收藏
点赞数 1
分类专栏： 分布式服务那点事儿 文章标签： ProtoBuf 序列化工具 数据结构 对象 数据压缩
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013830320/article/details/103208702
版权
本文探讨了Google Proto Buf序列化工具的高效性，对比了与其他序列化工具如JSON、XML的速度和空间利用率。Proto Buf通过精简的数据结构、语言无关性、扩展性和兼容性实现了高速序列化和反序列化。其 TLV 结构和预定义字段编号减少了传输数据，提高了解析速度。文章还强调了数据结构在计算机技术中的重要性。
摘要由CSDN通过智能技术生成

为什么Proto Buf高效

序列化和反序列化

大家接触的比较多的是java自带的序列化工具，例如我们要对象数据进行持久化到硬盘或者通过网络传输到对端主机上，所以我们需要通过某种序列化工具将数据转化成一种特定数据结构，并且对端或者从磁盘读取时能够按照这种结构解析形成对象。 序列化：对象—>特定结构的二进制串 反序列化：二进制串–>对象。

序列化工具有：Hessian(主要还是java，其他部分语言支持)、JSON、XML、java自带序列化(不能跨语言)、Proto Buf(跨语言)
一个好的序列化工具能够保证空间利用率高，节省网络资源并且能提高解析速率，目前确实存在这样一款很好的序列化工具那就是下面将的Google Proto Buf

Proto Buf 数据结构详解

PB(Proto Buffer) 序列化效率高？

PB序列化和反序列化速度比JSON、XML快20-100倍

1、自带proto编译其能快速进行序列化和反序列化

2、精简的数据结构，就是说同一个对象使用PB序列化成的字节数组会比其他序列化的字节数据更小，这样提高了传输效率和提高反序列化速度

3、语言无关性以及扩展性和兼容性好

Proto Buf 数据结构

在这里插入图片描述
TLV (Tag：字段唯一标识、Length：表示字段值的长度 Value：字段的值)

Tag&#x

最低0.47元/天 解锁文章
dynamo2120
关注
专栏目录
proto buf2.6.1版本 可执行文件
12-13
ProtoBuf（Protocol Buffers）是Google开发的一种数据序列化协议，它是Google的一种高效、灵活且跨平台的数据交换格式。在2.6.1版本中，ProtoBuf提供了强大的功能，允许开发者定义数据结构，并将这些结构转换为二...
json与protobuf的速度之争
热门推荐
辣椒酱的博客
09-28 1万+
json是这些年慢慢兴起的轻量级数据交换格式。比起老大哥XML。因其更快的解析速度和更小的体积，可谓是用过的都说好。一般情况下json足够满足你的大多数需求，但是在计算机领域，没有最快，只有更快。 当你的传输数据大到一定程度的时候，json的速度也不能满足你需求的时候，你就需要更快的protobuf。 protocolbuffer(以下简称PB)是google 的一种数据交换的格式，它
protobuf为什么这么快
qq_31476455的博客
09-20 477
协议数据格式十分紧凑，采用 tag|leg|value 来定界一个字段，且以这种方式紧密排列，使用varint这种数据结构根据实际字节占用情况灵活分配内存进一步减小传输开销。使用zigzag算法来对负数进行进一步的压缩，最终我们可以使用2个字节来表示-1。用protobuf序列化后的大小是json的10分之一，是xml格式的20分之一，但是性能却是它们的5~100倍。
jackson、fastjson、kryo、protobuf等序列化效率对比【全】
张小凡
04-04 2589
文章对比了多种序列化框架，如Kryo、Protostuff、Java自带序列化等，在综合性能、序列化效率、反序列化效率和对象大小等方面的性能。Kryo和Protostuff在速度和空间效率上表现出色，但各有其适用场景和限制。Java自带的序列化虽然方便，但速度较慢且占用空间大。
protobuffer的前世今生（三）——序列化和反序列化性能比较
悟已往之不谏，知来者之可追
06-15 2121
性能对比 下面是一些网上的对比图片，以及两年前有人做过的代码测试结果。 性能测试 网上有个人，做了详细的测试。 因为proto更擅长于整数的编码和处理，所以结论如下： 如果你的生产环境中的JSON没有那么多的double字段，都是字符串占大头，那么基本上来说替换成 Protobuf 也就是仅仅比 Jsoniter 提高一点点，肯定在2倍之内。如果不幸的话，没准 Protobuf 还要更慢一点。...
#### protobuf数据序列化与json或xml数据序列化的传输效率的对比 ####
仅做个人笔记
01-28 721
转自：https://juejin.cn/post/7034046510643806238仅做个人查阅及备份用途，浏览请看原文。当对 Protobuf 有了基本的认识后，就会明白了 Protobuf 序列化的数据会比 JSON、XML 传输效率更高。那为啥会高呢？本篇就带着这个问题一探究竟。
colfer：二进制序列化格式
01-30
Colfer是针对速度和大小进行了优化的二进制序列化。 该项目的编译器colf(1)从模式定义生成源代码，以colf(1)数据结构。 这是发布到免费且不受限制的软件。 该格式的灵感来自Proto col Buf fer s。 语言支援 C，...
//google test protoc buf builded lib in windows x86
10-25
1. **Protocol Buffers（protobuf）**：protobuf是一种高效、跨平台的数据序列化机制，它允许开发者定义数据结构，然后生成可以在各种语言中使用的代码，便于数据存储和传输。protobuf的使用包括编写.proto文件定义...
protobuf-tool:一个动态解析Protobuf文件的测试工具
05-12
Protocol Buffers（简称Protobuf）是Google推出的一种高效、跨平台的数据序列化协议，用于替换XML和JSON等传统格式。它提供了更小、更快、更简单的数据表示方式，尤其适用于网络通信和数据存储。 标题中的"protobuf...
homebrew-buf:Buf的自酿水龙头
03-16
在IT行业中，protobuf广泛应用于微服务、API接口定义和数据存储等领域，因为它提供了高效的序列化和反序列化机制。 "homebrew-buf"是针对MacOS和Linux用户的一个Homebrew配方，使得通过Homebrew这个包管理器安装和...
Protobuf 为啥比 JSON、XML 牛？
SharingOfficer的博客
11-30 1806
今天，我带大家更深层次的认识认识 Protobuf，如果你对 Protobuf 的用法还不熟悉，直接前往： developers.google.com/protocol-bu…。 当对 Protobuf 有了基本的认识后，就会明白了 Protobuf 序列化的数据会比 JSON、XML 传输效率更高。 那为啥会高呢？本篇就带着这个问题一探究竟。 看表面 对于 JSON、XML，为了便于数据传输时的可阅读性，会保留数据的结构化信息，举个 JSON 例子，如下： { "name": "laomi
Java常见的序列化和反序列化框架的性能，速度，大小pk
u011327159的博客
06-12 2193
在很长的一段时间，kryo都是Java环境最快的序列化框架，也得到了广泛的应用。 最近出现的zfoo protocol是新进的挑战者，于是就分别测试了，zfoo，kryo，protobuf的速度，性能，大小。 序列化：将Java对象转化为二进制的byte字节数组 反序列化：将二进制的byte字节数组转化为Java对象 在RPC应用中，进行跨进程远程调用的时候，需要使用特定的序列化技术，需要对进行网络传输的对象进行序列化和反序列化。 影响序列化和反序列化选择有两个主要因素 1.序列化之后码流的大小，如果
理解grpc协议（json与protobuf的优劣）
Dontla的博客
02-18 1891
好了，到这里请求映射的问题也分析完了。让我们回到最开始的问题。如果 gRPC 好，它好在哪里？为了这些好，它又牺牲了哪些方面？我们的业务面临什么问题？gRPC 的优点能否为我所用？gRPC 的缺点会不会给我们带来不便？这些问题我在很久之前的一篇文章中有过全面的分析，有兴趣的同学可以移步阅读。参考文章：理解 gRPC 协议。
protobuf 为什么快
qq_34873801的博客
06-20 1345
在分布式应用或者微服务架构中，各个服务之间通常使用json或者xml结构数据进行通信，通常情况下，是没什么问题的，但是在高性能和大数据通信的系统当中，如果有办法可以压缩数据量，提高传输效率，显然会给用户带来更快更流畅的体验。 google公司就通过使用一种新的数据交换格式办到了这点，新的数据交换的格式叫做protobuf。 protobuf有多屌呢，可以看一下下面的官方测试报告： 解包耗时 数据包压缩后大小 可以看到，一条消息数据，用protobuf序列化后的大小是json的10分之一..
Java IO篇：序列化与反序列化
张维鹏的博客
01-12 1万+
两个服务之间要传输一个数据对象，就需要将对象转换成二进制流，通过网络传输到对方服务，再转换成对象，供服务方法调用。这个编码和解码的过程称之为序列化和反序列化。所以序列化就是把 Java 对象变成二进制形式，本质上就是一个byte[]数组。将对象序列化之后，就可以写入磁盘进行保存或者通过网络中输出给远程服务了。反之，反序列化可以从网络或者磁盘中读取的字节数组，反序列化成对象，在程序中使用。
序列化与反序列化
LemonSnm的博客
12-22 811
1、序列化的意义： ①如何远程传输对象（java对象）？ ②序列化带来的性能如何优化？ 什么是序列化与反序列化？ java允许在内存中创建可复用的java对象，但是只有jvm运行的时候，这个对象才存在。jvm停了，内存中的对象也没了。 序列化：把对象的状态信息转换为可存储、可传输的可视化数据。 反序列化：把可存储、可传输的可视化数据转换为java对象 序列化的作用： 1、服务器与服务器之前传输对象：ServerA序列化对象 远程通信传给ServerB,ServerB反序列化成对..
GO中使用protobuf，性能和java、rust、c++对比
cention168的专栏
08-18 1080
GO中使用protobuf 性能对比java劣势 rust protobuf
17 | Protobuf是如何进一步提高编码效率的？
最新发布
qq_37756660的博客
01-19 1142
上一讲介绍的 HTTP/2 协议在编码上拥有非常高的空间利用率，这一讲我们看看，相比其中的 HPACK 编码技术，Protobuf 又是通过哪些新招式进一步提升编码效率的。Google 在 2008 年推出的 Protobuf，是一个针对具体编程语言的编解码工具。它面向 Windows、Linux 等多种平台，也支持 Java、Python、Golang、C++、Javascript 等多种面向对象编程语言。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值