Parquet存储格式

Parquet是一种列式存储格式，可用于Hadoop生态系统中的任何项目，无论选择何种数据处理框架，数据模型或编程语言。

特点：

a、更高的压缩比
parquet的gzip的压缩比率最高，若不考虑备份可以达到27倍。可能这也是spar parquet默认采用gzip压缩的原因吧。

b、只读取需要的列，支持向量运算，能够获取更好的扫描性能
跳过不符合条件的数据，只读取需要的数据，降低 IO 数据量
如果你的数据字段非常多，但实际应用中，每个业务仅读取其中少量字段，parquet将是一个非常好的选择。

d、二进制存储
Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

c、 Spark SQL 的默认数据源
可通过 spark.sql.sources.default 配置

适配的组件

查询引擎: Hive, Impala, Pig, Presto, Drill, Tajo, HAWQ, IBM Big SQL
计算框架: MapReduce, Spark, Cascading, Crunch, Scalding, Kite
数据模型: Avro, Thrift, Protocol Buffers, POJOs

Parquet的数据模型

每条记录中的字段可以包含三种类型：required, repeated, optional。最终由所有叶子节点来代表整个schema。

• 元组的Schema可以转换成树状结构，根节点可以理解为repeated类型
• 所有叶子结点都是基本类型
• 没有Map、Array这样的复杂数据结构，但是可以通过repeated和group组合来实现这样的需求