编解码技术

1.Java的编解码技术含义

将java对象编码为字节数组写入文件，或用于网络传输，在读取文件或者接受数据的时候，将其再解码为java对象。

从而引出Java进行编解码的目的：

• 网络传输
• 对象持久化

java的序列化（实现Serializable接口）是java编解码技术中的一种实现方式。java序列化技术有以下缺陷：

1. java序列化技术使用内部私有协议，无法跨语言
2. 序列化后的字节码数组太大；
3. 序列化的性能太低，耗时长；

因此，远程服务调用（RPC）不直接使用java原生序列化技术。也正是因为这些原因，衍生了很多编解码技术和框架。

2.主流的编解码框架

评价编解码框架的优劣，我们主要从以下几点考虑：

• 是否支持跨语言，支持的语言类型;
• 编码后的码流大小;
• 编解码的性能；
• 类库的大小，api使用是否方便；
• 二次开发的工作量和难度；

2.1 Google 的 Protobuf

Protobuf 全称 Google Protocol Buffers，它由谷歌开源而来。它将数据结构以.proto 文件进行描述，通过代码生成工具可以生成对应数据结构的 POJO 对象和 Protobuf 相关的方法和属性。特点：

• 结构化数据存储格式（XML，JSON 等）
• 高效的编解码性能
• 语言无关、平台无关、扩展性好
• 支持 Java、C++ 、Python、Objective-C、C# 、JavaScript、Ruby、Go、PHP、Dart多种语言

Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据序列化。它很适合做数据存储或 RPC 数据交换。
Protobuf 在 Github 开源地址：https://github.com/protocolbuffers/protobuf

Protobuf 另一个吸引人的是它的数据描述文件和代码生成机制。利用数据描述文件对数据结构进行说明，其优点如下：

• 文本话的数据结构描述语言，可以实现语言和平台无关，特别适合异构系统间的集成
• 通过标识字段的顺序，可以实现协议的前后兼容
• 字段代码生成，不需要手工编写同样数据结构的 C++ 和 Java 版本
• 方便后续的管理和维护，相比于代码，结构化的文档更易管理和维护

2.2 Facebook 的 Thrift

Thrift 源于 Facebook，在 2007 年 Facebook 将 Thrift 作为一个开源项目提交给 Apache 基金会。对于当时的 Facebook 来说，创造 Thrift 是为了解决 Facebook 各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性，因此 Thrift 可以支持多种程序语言，如 C++、C#、Cocoa、Erlang、Haskell、Java、Ocami、Perl、PHP、Python、Ruby 和 Smalltalk。

在多种不同的语言之间通信，Thrift 可以作为高性能的通信中间件使用，它支持数据（对象）序列化和多种类型的 RPC 服务。Thrift 适用于静态的数据交换，需要先确定好它的数据结构，当数据结构发生变化时，必须重新编辑 IDL 文件，生成代码和编译，这一点跟其他 IDL 工具相比可以视为是 Thrift 的弱项。Thrift 适用于搭建大型数据交换及存储的通用工具，对于大型系统中的内部数据传输，相对于 JSON 和 XML 在性能和传输大小上都有明显的优势。

与 Protobuf 比较类似的是，Thrift 通过 IDL 描述接口和数据结构定义，它支持 8 种 Java 基本类型、Map、Set 和 List，支持可选和必选定义，功能非常强大。因为可以定义数据结构中字段的顺序，所以它也可以支持协议的前向兼容。

Thrift 支持三种比较典型的编解码方式：

1. 通用的二进制编解码；
2. 压缩二进制编解码；
3. 优化的可选字段压缩编解码。

由于支持二进制压缩编解码，Thrift 的编解码性能表现也相当优异，远远超过 Java 序列化和 RMI 等。

2.3 Jboos 的 Marshaling

JBoss Marshalling 是一个 Java 对象的序列化 API 包，修正了 JDK 自带的序列化包的很多问题，但又保持跟 java.io.Serializable 接口的兼容；同时增加了一些可调的参数和附加的特性，并且这些参数和特性可通过工厂类进行配置。
相比于传统的 Java 序列化机制，它的优点如下：

• 可插拔的类解析器，提供更加便捷的类加载定制策略，通过一个接口即可实现定制；
• 可插拔的对象替换技术，不需要通过继承的方式；
• 可插拔的预定义类缓存表，可以减小序列化的字节数组长度，提升常用类型的对象序列化性能；
• 无须实现 java.io.Serializable 接口，即可实现 Java 序列化；
• 通过缓存技术提升对象的序列化性能。

相比于前面介绍的两种编解码框架，JBoss Marshalling 更多是在 JBoss 内部使用，应用范围有限。

Marshalling 在 GitHub 开源地址：https://github.com/jboss-remoting/jboss-marshalling

2.4 MessagePack

像 JSON，但是更快更小。
MessagePack 是一种高效的二进制序列化格式。它允许在 JSON 等多种语言之间交换数据，但它更快速更小巧。小整数被编码为单个字节，典型的短字符串除了字符串本身之外只需要一个额外的字节。MessagePack 支持主流的 50 多种编程语言。
MessagePack Java 模块 GitHub 开源地址：https://github.com/msgpack/msgpack-java

核心压缩方式官方说明：https://github.com/msgpack/msgpack/blob/master/spec.md

2.5 其他编解码框架

除了上述介绍的编解码框架和技术之外，比较常用的还有 kryo、hession 和 Json 等。

3.总结

实际应用中，是否序列化对象进行传递以及使用哪种编解码框架还是需要应该根据需求而定，有时候发送字符串也是挺方便的，比如一个 POJO 对象，或者 Map、List 等，可以先使用 Gson、FastJson 等库将对象序列化为 Json 字符串，然后发送 json 字符串数据，接收的时候，再用 Gson、FastJson 反序列化，将 json 字符串转为对象即可。