大数存储格式与压缩格式

大数据存取的选择：行存储还是列存储？
https://www.infoq.cn/article/bigdata-store-choose
Hadoop 压缩实现分析
https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-compression-analysis/
大数据-常用压缩方式总结
https://blog.csdn.net/baichoufei90/article/details/100577351
有的压缩格式不支持分割那么，如1G的文件那么就只能由一个文件俩处理。
如何支持分割那么，一个大文件就能允许多个task并行执行。
spark的parquet的默认压缩格式为snappy,
SparkSQL默认的分区数是200个，
在处理数据的时我们可以合理设置输出分区的数量，一个分区的输出对应一个文件，比如说每个分输出分区文件的大小128M，那么压缩过后大概也就是几兆，即使我们就可以使用parquet的存储格式，压缩使用snappy的压缩类型了（不可拆），那么读取解压数据数据的时候数据也就是128M。那么后续在对这些数据进行处理那么就一个一个文件对应对一个task，并行度就有文件的数量来决定了，但是每个文件解压的数据量不大，也对处理速度存在不大的影响。