详解varint编码原理

最新推荐文章于 2022-07-06 11:07:49 发布
最新推荐文章于 2022-07-06 11:07:49 发布
阅读量2.3k 收藏 7
点赞数 5
文章标签： 编码 数据结构 varint protobuf 二进制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43954926/article/details/102869587
版权

什么是varint编码：简单来说varint是一种数压缩算法，其核心思想是利用bit位来实现数据的压缩。

  • 比如在java中：int param = 1234;转换为二进制为：1111011，而java中int类型占4个字节，存储方式如下：
    int 1234在java中的内存模型
    前面的21个空位造成了大量内存空间的浪费，如果可以对空位(0)进行压缩，那么会大大节省内存空间，如果数据在网络中传输时，也会节省大量节省网络带宽消耗

varint编码方式简单来说就是：从右向左每隔7位取一片段并补上标志位，再将若干片段从左往右排列，具体实现方式为：

在这里插入图片描述

当解压缩时，可以根据标志位判断后续还有没有数据

在这里插入图片描述
在这里插入图片描述

▄█▀█●各位同仁，如果我的代码对你有帮助，请给我一个赞吧，为了下次方便找到，也可关注加收藏呀
如果有什么意见或建议，也可留言区讨论

深入解析protobuf 1-proto3 使用及编解码原理介绍
白日梦程序员的博客
12-10 5162
前面已经讲了grpc基础使用，其中用到了Protocol buffers，这次先讲下Protocol Buffers的基本使用，和编解码原理。后面会有高级教程讲如何二次开发proto-gen-go ，protobuf 官方功能并不是很完善的，在日常项目中，常常有自定义需求，更多的是使用官方protoc-gen-go 这个项目fork 后自定义版本，或者是比较优秀的开源 fork 版本。目前使用最多的是gogo protobuf，后面都会出详细教程。本文章内容几乎翻译整理自官方文档，额外添加了go相关的例子,
Protobuf 使用和原理
行走
03-07 1024
protobuf 使用和原理
Varint+ZigZag解码 ZigZag编码
04-08
实现Varint + ZigZag的编解码过程，里面有我自己对Vint编解码实现的算法 ,VInt编码为Varint编码和ZigZag编码的结合，为一种将64位二进制编码的有符号整型编码在最多10字节中的编码方式。Varint编码为一种将64位二进制编码的无符号整型根据其大小用不同长度字节进行编码的编码方式。其编码特点为数字越小所占用的字节数越少。每个字节的低7位用来表示数字，最高位有特殊的含义：如果该位为 1，表示后续的一个字节也是该数字的一部分；如果该位为 0，则该字节为该数字的最后一个字节。因此小于 128 的数字都可以用一个字节表示。大于 128 的数字，会用两个或两个以上的字节编码。ZigZag编码是为了配合Varint来使用的一种为有符号整型数定义的编码。ZigZag的原理是按照绝对值大小来重新解析二进制。VInt的编码实际上是将64位整数的有符号编码首先使用ZigZag转换后，再用Varint进行的编码。VInt的编码与Google Protocol Buffer中wire type中的sint64的编码相同。
varint算法——本质上是牺牲最高位作为标识数据结束位，达到变长编码，说白了就是贪心的分割位...
djph26741的博客
04-01 149
varint算法，摘自：http://blog.csdn.net/liaoquesg/article/details/50897327 最近在看《大规模WEB服务开发技术》这本书中。书中提到“可变长字节码算法”的压缩数据的算法，以达到压缩数据，减少磁盘IO。可变长字节码算法：任意一个字节的最高位（下标7）均只作为标志位，而且根据字节所在位置需要乘以128的相应幂次；（我觉得...
Google group varint算法解析
zlx2370397的博客
05-25 530
在了解 group varint 算法之前，应该对 varint 有所了解。 What is varint? 根据 google http://code.google.com/apis/protocolbuffers/docs/encoding.html 的官方解释可以很清晰的了解到，它是一种用 1 个或多个字节序列化 integer 的一种方法， Smaller...
ProtocolBuffer：高效序列化与对象创建时间详解
对于无符号整数，Varint直接使用这种方式，而对于有符号整数，由于不能直接压缩负数，PB采用了ZigZag编码，这是一种特殊的方法，将负数转换为非负数后再进行编码，从而实现整数的紧凑表示。 PB的使用涉及到以下几个...
LevelDB实现详解：关键概念与源码解析
- **Varint**：一种紧凑的编码方式，用于序列化和反序列化整数值。 - **ValueType** 和 **SequenceNumber**：用于表示数据的类型和版本信息。 - **UserKey**、**ParsedInternalKey** 和 **InternalKey**：数据...
揭秘淘宝Tair底层：LevelDB LSM-tree实现详解
6. `util/`：工具类和基础库，如内存环境管理（MemEnv）、编码与解码（varint）等。 7. `helper/memenv/`：内存映射文件环境（MemEnv）的实现，用于提高内存效率。 接下来，文章详细介绍了LevelDB的一些关键概念： ...
Leveldb varint 原理解析
carbon06的博客
04-17 840
varint 介绍 我们知道 uint32_t 类型占用4个byte，uint64_t 占用8个byte, 但是对于比较小的数字来说，使用uint32_t 或者uint64_t 存储会比较浪费，varint 的思想是根据数字所需大小使用unsigned char* 指针存储数据，节约内存。 leveldb 实现 leveldb 中的varint实现原理简单，每个byte 使用最高bit的...
LevelDB : Varint
Huntinux
06-16 1700
参考： 1. http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/ 2. http://blog.csdn.net/sparkliang/article/details/8573618 参考文章1是讲解Protobuf的，文中也介绍了Varint，这里做个摘录：什么是VarintVarint 是一种紧凑的表示数字的方法。它用一个或多个字
Varint数据压缩算法
milanac007的专栏
09-30 1736
二进制补码 先说说二进制补码。对于有符号型整数的二进制表示而言： 1. 最高位是符号位，0代表正数，1代表负数； 2. 正数和0的反码和补码都是本身； 3. 对于负数，反码就是符号位不变，其他各位依次取反；补码就是在反码的基础上加1； 以int32举例： 数值 源码 反码 补码 15 0...0,0000,1111 共32bit...
Varint数值压缩算法
weixin_30295091的博客
10-22 181
Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字，值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。比如对于 int32 类型的数字，一般需要 4 个 byte 来表示。但是采用 Varint，对于很小的 int32 类型的数字，则可以用 1 个 byte 来表示。当然凡事都有好的也有不好的一面，采用 Varint 表示法，大的数字则需要 5 个 byte 来表...
java Varint解码,JVM-解密Java对象
weixin_32730471的博客
03-13 258
在Java程序运行过程中时时刻刻都有对象被创建出来，对象的创建方式有很多种，最常见的就是new，其次还有clone和反序列化。下面我们一起来解密对象的创建、内存布局以及如何定位一个对象。对象创建当我们在创建对象时，首先会检查创建对象的类能否在常量池中定位到符号引用，并检查符号引用代表的类是否被加载、解析和初始化过，如果没有则必须执行相应的类加载过程(这个后面也会单独写一篇文章讲解)。对象创建的过程...
php中在ie浏览器下post、get传递中文参数乱码
morishima的博客
11-04 633
前言 最近遇到过在 ie 浏览器中通过 post 或者 get 进行传递参数的时候出现中文乱码的问题。 方法介绍 使用 mb_detect_encoding 检测编码。 mb_detect_encoding 检测字符的编码,string mb_detect_encoding ( string $str [,mixed $encoding_list = mb_detect_order() [,bool $strict = false ]]) 这个函数有三个参数分别是: 1.str：待检查的字符串。 2.en
Varint
BlackC16的博客
07-06 688
varint是一种对整型进行压缩的编码格式,大量用于Google的ProtocolBuffer中。每个字节第一位表示标志位,剩余7位存储数据,除了末尾字节外其他字节标志位都是1.字节顺序采用了小端序.比如int32类型的234二进制为：1110 1010小端序7位： 110 1010 000 0001加上标志位：1110 1010 0000 0001 优缺点 以int32为例,一般来说小数使用较为频繁.对于小数，可以用1、2个字节存储,相较于原先的4个字节,能大大的减少空间占用。但是对于负数，由于第一位符
Varint编码
weixin_30521649的博客
10-26 218
LevelDB内部通过采用变长编码，对数据进行压缩来减少存储空间，采用CRC进行数据正确性校验。下面就对varint编码进行学习。 传统的integer是以32位来表示的，存储需要4个字节，当如果整数大小在256以内，那么只需要用一个字节就可以存储这个整数，这样就可以节省3个字节的存储空间，Google varint就是根据这种思想来序列化整数的 无符号 Varint 是一种紧凑的表示...
varint - int32数据编码解码C程序实现
一土博客
06-01 1962
#include int main() {           unsigned char data[5]={0} ;           int count = 0;           int value=300;           do           {               data[count] = (unsigned char )((valu
246进行varint编码
最新发布
06-10
对于 246，它的 Varint 编码结果为 0xF6 0x01。 Varint 编码的规则是将整数按照小端字节序进行拆分，每个字节的最高位表示是否为最后一个字节，其余 7 位表示数据。因此，对于 246 这个数，它的二进制表示为 1111 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值