hive-parquet

SRC

parquet是apache的开源项目，一个压缩格式。

parquet的数据自带表结构，所以需要创建schema对象。schema对象可以是spark中df的StructType，也可以是parquet官方提供的api

usage

可以通过sql的形式读取parquet文件创建df
al df = ss.sql(“SELECT * FROM parquet.examples/src/main/resources/users.parquet”)

traps

1. spark中使用rdd和schema生成df然后使用write.parquet保存为parquet文件时，如果schema中某个字段设置nullable=true，Row中字段可以直接插入null，亲测scala的None不行。

2. 因为parquet必须带有表结构，所以不能直接把rdd保存为parquet，只能转成带结构的df后保存为parquet