大数据之hive Serde序列化/反序列化性能对比（一）

java 中我们使用序列化和反序列化主要目的是将对象和字节序列进行相互转换。序列化的作用是什么呢？1，将对象转换成字节序列后进行落盘存储到文件 2，将对象序列化后进行网络传输。然而对于hive 的序列化和反序列化是将hive 表中每一列的值与字节码序列进行转换。hive Serde 包含Serialize和Deserialize 两个功能，比如查询select * from tb_example, Deserialize 是将存储在hdfs中的字节码解析出来成为可读；load 加载数据时，Serialize 是将数据序列化后存储到hdfs 系统中。

针对量级比较大的数据，hive 官方支持几种数据压缩格式对数据进行压缩保存，然而不同的数据格式的压缩效率和查询效率等性能却有所差异。以下面的例子对比下(日志文件3.6G,约3700w数据)hive表以不同的数据格式存储的性能表现。

 

不同数据格式的压缩比（图片来自网络）

1. 创建普通的hive表 tb_iptv_data 作为基础数据表，将数据load 到表中

hive 默认是使用 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe create table if not exists tb_iptv_data(expodate string,addcode string,sbtid string,rs