1.什么是MessagePack
Messagepack是一个高效的二进制序列化框架,支持多语言,跟json很像,但是性能更快,序列化后的码流更小。
官方说明:MessagePack官网
MessagePack is an efficient binary serialization format. It lets you exchange data among multiple languages like JSON. But it’s faster and smaller. Small integers are encoded into a single byte, and typical short strings require only one extra byte in addition to the strings themselves.
下面是官网给出的例子:
MessagePack支持超过50种的语言和环境,支持列表参考:支持语言和环境列表
2.MessagePack的核心原理
首先先解释一下官网的例子:
图上的例子中给了一个json字符串,包含了2个元素,字符串长度为27字节。使用Json格式表示这个数据结构,使用了特殊字符(大括号、引号、冒号之类),相较于真正有意义的数据,额外多出了9个字节的数据。MessagePack的优化在图上可以清楚的看到,就是省去了特殊符号,用特定编码对各种类型进行定义。比如上图的A7,其中前四个bit A就是表示str的编码,而且它表示这个str的长度只用半个字节就可以表示了,也就是后面的7,因此A7的意思就是表示后面是一个7字节长度的string;82表示整个数据结构是2个元素的map;C3代表true。
MessagePack的核心原理概括如下:
- true、false 布尔类型值:使用1个字节标志,(0xc3 表示true,0xc2表示false)
- 无需指定长度的数据类型:如数字类,他们的长度都是固定的,直接用1个字节表示具体的内容值是多少,比如用(0xcc 表示这后面,是个uint 8,用oxcd表示后面是个uint 16,用 0xca 表示后面的是个float 32)。对于数字做了进一步的压缩处理,根据大小选择用更少的字节进行存储,比如一个长度<256的int,完全可以用一个字节表示。
- 需要指定长度的数据类型:比如字符串、数组、二进制流,使用类型+长度( 1~4个字节)表示,长度是256以内的,只需要1个字节。MessagePack能存的最长数据大小,是(2^32 -1 ) =4G。
- 复杂结构:如MAP,即是k-v 结构数据,和数组结构类似,加1~4个字节表示后面有多少个项。
- Ext结构:表示特定的小单元数据。也是自定义数据结构。
具体的详细原理请参考github上的工程介绍:messagepack 原理
3. 编码/解码器开发示例
3.1 添加pom依赖
<dependency>
<groupId>org.msgpack</groupId>
<artifactId>msgpack</artifactId>
<version>${msgpack.version}</version>
</dependency>
3.2 java API
// 创建序列化实体
List<String> src = new ArrayList<String>