大数据IMF传奇行动绝密课程第62课：Spark SQL下的Parquet使用最佳实践和代码实战

Spark SQL下的Parquet使用最佳实践和代码实战

1、Spark SQL下的Parquet使用最佳实践
2、Spark SQL下的Parquet实战

一、Spark SQL下的Parquet使用最佳实践
1、过去整个业界对大数据分析的技术栈的Pipeline一般分为以下两种方式
a)Data Source -> HDFS -> MR/Hive/Spark(相当于ETL) -> HDFS Parquet -> Spark SQL/Impala -> Result Service(可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用)
b)Data Source -> Real time update data to HBase/DB -> Export to Parquet -> Spark SQL/Impala -> Result Service(可以放在DB中，也有可能被通过JDBC/ODBC来作为数据服务使用)
上述的第二种方式完全可以通过Kafka+Spark Streaming+Spark SQL（内部也强烈建议采用Parquet的方式来存储数据）的方式取代

期待的方式：
Data Source -> Kafka -> Spark Streaming -> Parquet -> Spark SQL(ML、GraphX等) -> Parquet -> 其它各种Data Mining等

二、Parquet的精要介绍
1、Parquet是面向列的列式存储格式的一种文件类型，列式存储有以下的核心优势：
a)可以跳过不符合条件的数据，只读取需要的数据，降低ID数据量。
b)压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding和Delta Encoding）进一步节约存储空间。
c)只读取需要的列，支持向量运算，能够获取更好的扫描性能。

parquet可以根据目录的元数据自动进行聚合