Google Protocol Buffer 的编码方式

最新推荐文章于 2022-11-14 15:04:22 发布

jmz19910110

最新推荐文章于 2022-11-14 15:04:22 发布

阅读量309

点赞数

分类专栏： hadoop protobuf

本文链接：https://blog.csdn.net/jmz19910110/article/details/94734876

版权

hadoop 同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

protobuf

1 篇文章 0 订阅

订阅专栏

Protobuf 序列化后所生成的二进制消息非常紧凑，这得益于 Protobuf 采用的非常巧妙的 Encoding 方法。

考察消息结构之前，让我首先要介绍一个叫做 Varint 的术语。Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字，值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。

比如对于 int32 类型的数字，一般需要 4 个 byte 来表示。但是采用 Varint，对于很小的 int32 类型的数字，则可以用 1 个 byte 来表示。当然凡事都有好的也有不好的一面，采用 Varint 表示法，大的数字则需要 5 个 byte 来表示。从统计的角度来说，一般不会所有的消息中的数字都是大数，因此大多数情况下，采用 Varint 后，可以用更少的字节数来表示数字信息。下面就详细介绍一下 Varint。

Varint 中的每个 byte 的最高位 bit 有特殊的含义，如果该位为 1，表示后续的 byte 也是该数字的一部分，如果该位为 0，则结束。其他的 7 个 bit 都用来表示数字。因此小于 128 的数字都可以用一个 byte 表示。大于 128 的数字，比如 300，会用两个字节来表示：1010 1100 0000 0010。下图演示了 Google Protocol Buffer 如何解析两个 bytes。注意到最终计算前将两个 byte 的位置相互交换过一次，这是因为 Google Protocol Buffer 字节序采用 little-endian 的方式。
Varint 编码：

在这里插入图片描述

消息经过序列化后会成为一个二进制数据流，该流中的数据为一系列的 Key-Value 对如下图所示。
Message Buffer：

在这里插入图片描述
采用这种 Key-Pair 结构无需使用分隔符来分割不同的 Field。对于可选的 Field，如果消息中不存在该 field，那么在最终的 Message Buffer 中就没有该 field，这些特性都有助于节约消息本身的大小。

以代码清单 1 中的消息为例。假设我们生成如下的一个消息 Test1:
1 Test1.id = 10;
2 Test1.str = “hello”；

则最终的 Message Buffer 中有两个 Key-Value 对，一个对应消息中的 id；另一个对应 str。

Key 用来标识具体的 field，在解包的时候，Protocol Buffer 根据 Key 就可以知道相应的 Value 应该对应于消息中的哪一个 field。

Key 的定义如下：
1
(field_number << 3) | wire_type

可以看到 Key 由两部分组成。第一部分是 field_number，比如消息 lm.helloworld 中 field id 的 field_number 为 1。第二部分为 wire_type。表示 Value 的传输类型。
在这里插入图片描述
Wire Type 可能的类型如下表所示：

在我们的例子当中，field id 所采用的数据类型为 int32，因此对应的 wire type 为 0。细心的读者或许会看到在 Type 0 所能表示的数据类型中有 int32 和 sint32 这两个非常类似的数据类型。Google Protocol Buffer 区别它们的主要意图也是为了减少 encoding 后的字节数。

在计算机内，一个负数一般会被表示为一个很大的整数，因为计算机定义负数的符号位为数字的最高位。如果采用 Varint 表示一个负数，那么一定需要 5 个 byte。为此 Google Protocol Buffer 定义了 sint32 这种类型，采用 zigzag 编码。

Zigzag 编码用无符号数来表示有符号数字，正数和负数交错，这就是 zigzag 这个词的含义了。

ZigZag 编码：

在这里插入图片描述

使用 zigzag 编码，绝对值小的数字，无论正负都可以采用较少的 byte 来表示，充分利用了 Varint 这种技术。

其他的数据类型，比如字符串等则采用类似数据库中的 varchar 的表示方法，即用一个 varint 表示长度，然后将其余部分紧跟在这个长度部分之后即可。

目前我们直接用protoc直接生成对应的解析类，所以，对于protobuf的实质内容不必完全掌握，但是数据报中相应的数据长度是采用varint进行表示，所以，给出以下一个简单的计算varint的函数。

//package_data 数据包
//package_len 数据包长度
//cursor,当前位置[In,Out]计算后，会修改当前位置

    uint32_t hbase_get_varint(const char* package_data, uint32_t package_len, uint32_t* cursor)
    {
    
        uint32_t   ret = 0;
        uint32_t i = 0;
        uint32_t counter = 0;
        for (i = *cursor,counter = 0; i < package_len; ++i,++(*cursor) ,++counter)
        {
            ret |= (uint32_t)( (uint32_t)(package_data[i] & 0x7F) << (7*counter) );
            if((package_data[i]&0x80) == 0)
            {
                break;
            }
        }
        ++(*cursor);
        return ret;
    }