Protobuf 介绍与实战29：使用建议说明（性能优化措施）

已于 2022-02-25 08:22:50 修改
阅读量1.6k 收藏
点赞数 1
分类专栏： 码二哥的技术专栏 文章标签： grpc-go kubernetes protobuf golang 架构师
于 2022-02-23 08:30:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011582922/article/details/123081676
版权
本文介绍了Protobuf的optional和required字段的使用策略，强调了optional字段在数据兼容性中的重要性。此外，建议使用bytes而非string进行字符串编码以提高效率，并推荐通过git地址共享proto文件以减少依赖。针对大数据量协议报文，提出优化repeated字段的对象类型和原始类型处理。还讨论了Bytes类型内存占用问题以及负值类型选择sint32/sint64的效率优势。最后，提出了在大数据量传输时启用压缩算法的建议，如lz4。
摘要由CSDN通过智能技术生成

1  go grpc-go 相关技术专栏 总入口

2  Protobuf介绍与实战 图文专栏 文章目录

1、尽量使用optional而非required字段

针对的是protobuf 版本2；

protobuf的可选字段optional是一个很巧妙的设计，optional字段是可选的，

一个optional字段存在与否都不影响proto对象的序列化和反序列化，利用它可以实现数据协议的向后兼容和向前兼容，

即以后增加新的字段，或弃用（注意这里是弃用而不是删除）旧字段都不需要修

了解本专栏 订阅专栏 解锁全文 超级会员免费看
码二哥
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Protobuf 介绍与实战28：protobuf 类名、属性大小写是否有影响？
码二哥的技术池
02-21 1599
1  go grpc-go 相关技术专栏 总入口 2  Protobuf介绍与实战 图文专栏 文章目录 不同语言，可能影响不一样，实际在使用的时候，可以注意一些。 当然，目前还没有发现有这方面的限制。
C#中使用ProtoBuf优化百万级数据的存取性能
06-19
1、以20个浮点类型字段，1百万条记录为测试数据 2、分别对比二进制与ProtoBuf序列化、反序列化、显示速度的耗时对比以及占用空间大小对比 3、在增加压缩功能后再进行序列化、反序列化、显示速度的耗时对比以及占用空间大小对比
Protobuf编码原理及优化技巧探讨
最新发布
Code365
06-23 1186
将某个struct或class的内存数据和通信数据链路上的字节流进行互相转化的算法。基于这个定义序列化算法具有两个行为：1、序列化：内存数据->通信链路字节流2、反序列化：通信链路字节流->内存数据常用的序列化算法有：json、xml、protobuf 等，将这些算法进行归纳不难发现这些算法主要是对三种基本类型（原子性、不可被拆分）和三种复合类型（由基本类型和其他符合类型构成）进行序列化和反序列化。1、基本类型：定点数值类型、浮点数值类型、字符串类型2、复合类型：结构体类型、数组类型、map类型。
Protobuf如何提升编码效率
qq_41105501的博客
04-30 1041
Protobuf如何提升编码效率 Protobuf作为网络传输常用的编解码工具，面向多种平台，支持多种语言。使用 Protobuf 编码消息速度很快，消耗的 CPU 计算力也不多，而且编码后的字符流体积远远小于 JSON 等格式，能够大量节约带宽。那protobuf是如何提升编码效率的呢？具体的优化设计有以下几方面： 减少编码字段名使用的空间 通常消息由多个名、值对组成，对于字段名，Protobuf主要采用了映射表的方法。主要有两种： 静态表。在HTTP请求中，对于多达几十字节的 HTTP 头部，HTT
王学岗性能优化(13)——Protobuf
qczg_wxg的博客
06-04 902
** （上） **
基于GSoap/protobuf的服务性能优化
傲然君
11-19 1277
一、业务场景前段时间，在做CS服务化的事情，其中有一个业务场景是这样的： CS在启动时，需要一次性向服务端请求各种地理图数据，该部分数据来源于将近200张表。起初为了方便，所有表使用同一个protobuf结构，且所有字段类型统一定义为bytes。 在120G内存服务器上的测试结果： 1、时间上：相比直接从数据库加载数据，服务化后单个CS的启动时间（将近3分钟）要超出一倍。若同时启动10个CS，
大数据聚类算法：分布式计算与内存优化实战指南
[大数据聚类算法：分布式计算与内存优化实战指南](https://ask.qcloudimg.com/http-save/yehe-7623498/hbgpjqiwn2.jpeg) # 1. 大数据聚类算法概述 在信息时代的浪潮中，大数据已成为推动社会发展的重要力量。而聚类...
java性能优化实战：7类技术手段让性能优化有章可循
m0_74931226的博客
11-12 540
性能优化根据优化的类别，分为和。业务优化产生的效果也是非常大的，但它属于产品和管理的范畴。同作为程序员，在平常工作中，我们面对的优化方式，主要是通过一系列的技术手段，来完成对既定的优化目标。这一系列的技术手段，我大体归纳为如图以下 7 类：可以看到，优化方式集中在对计算资源和存储资源的规划上。优化方法中有多种用空间换时间的方式，但只照顾计算速度，而不考虑复杂性和空间问题，也是不可取的。我们要做的，就是在照顾性能的前提下，达到资源利用的最优状态。接下来，我简要介绍一下这 7 种优化方式。
PHP多数据库与微服务实战：实现分布式系统的数据管理，打造现代化微服务架构
[PHP多数据库与微服务实战：实现分布式系统的数据管理，打造现代化微服务架构](https://img-blog.csdnimg.cn/50a4201ada61474689b8823c467548c0.png) # 1. PHP多数据库与微服务的概念和优势** PHP多数据库是指在PHP...
protobuf 性能对比
07-18
protobuf 性能对比 和fastjson对比，测试程序
（十八）Protobuf —— 优化序列化，替换 Json
孤独灬啸月
04-28 2830
版权声明：本文为博主原创文章，未经博主允许不得转载。 本文纯个人学习笔记，由于水平有限，难免有所出错，有发现的可以交流一下。 一、Protobuf 介绍 google 开源项目。序列化数据结构的方案（Json 、XML 也是），通常用于编写需要数据交换或者需要存储数据的程序。这套方案包含一种用于描述数据结构的接口描述语言（Interface Description Language）和一个生成...
Android 性能优化--Protobuf使用及原理
分享Android应用和系统开发、音视频编码、性能优化相关知识
02-15 8535
1. 什么是Protobuf？ 优点 缺点 应用场景 使用 2.1.1 ubuntu 安装 protoc 2.1.2 windows安装 protoc 2.2 使用Android的Gradle插件编译 3. Protobuf序列化、反序列化的性能对比 4. Protobuf 原理 4.1 protobuf 数据结构 4.2 protobuf 编码方式 4.3 TAG 编码过程 4.4 Varint 编码过程 4.5 Varint 解码过程 4.6 Zigzag 编码过程
Protobuf架构和性能提升
llw_blog
12-27 296
Protobuf 基本使用
锄禾日当午，啥都不靠谱；闲来没事做，不如写博客。
11-05 707
Protobuf 可以做什么？ Protobuf 全称 Protocol Buffers，根据官网（请自备梯子）的介绍，是一个跨语言数据传输中间件。 基本使用流程： 根据 Protobuf 的规定编写 *.proto 文件 使用 Protobuf 编译器编译 *.proto 文件生成需要的代码格式（Java、Python 等） 上面生成的代码在 Java 看来有点像一个 Java Bean，用于...
Protobuf：性能问题
m0_73915763的博客
08-29 198
最近组里有个项目要在原有的HTTP+RESTful协议基础上，新增支持grpc协议，目的之一是为了进一步提升服务性能，毕竟业界一直有说法：grpc性能优于HTTP+RESTful。然而，同事压测发现当数据量上升，grpc的性能反而不及HTTP+RESTful。这一下就炸开了锅：“这怎么可能呢？你的代码写错了吧？”，“哦？这是为什么？笔者也是吃瓜群众之一，于是决定查一查原因。
17 | Protobuf是如何进一步提高编码效率的？
qq_37756660的博客
01-19 1137
上一讲介绍的 HTTP/2 协议在编码上拥有非常高的空间利用率，这一讲我们看看，相比其中的 HPACK 编码技术，Protobuf 又是通过哪些新招式进一步提升编码效率的。Google 在 2008 年推出的 Protobuf，是一个针对具体编程语言的编解码工具。它面向 Windows、Linux 等多种平台，也支持 Java、Python、Golang、C++、Javascript 等多种面向对象编程语言。
存储优化和Protobuf
feather(猎羽)
07-10 734
1、Protobuf相比于json、xml优点使用简洁体积小：大小只有xml 10%~33%(可变编码)速度快：比xml快60~100倍Protobuf编译系统，编译成Java代码兼容性好：更好线上线下兼容缺点：可读性差。
Ubuntu下Protobuf安装与使用教程：快速掌握序列化与消息格式
与XML类似，但protobuf具有更小的体积、更快的性能和更简单的语法。它的核心思想是通过定义.proto文件来描述数据结构，然后利用protobuf编译器生成特定语言的源代码，以便在多种编程语言中方便地进行数据读写。 本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码二哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值