文件格式
rcfile
存储空间最小,查询效率最高,需要通过text文件转化来加载,加载的速度最快,由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应
textfile
存储空间消耗比较大,并且压缩的text无法分割,合并查询的效率最低,可以直接存储,加载数据的速度最高
sequencefile
存储空间消耗最大,压缩的文件可以分割,合并查询的效率最高,需要通过text文件转化来加载
parquet
sparksql默认的输出格式,具有较快的处理效率,加快响应速度,用于提供交互式查询
orcfile
存储效率,处理效率兼顾