近期使用hive对orc 与 parpuet做了初步的压缩比分析, 通过压缩2.3表数据,得到的结论为:
1. 非压缩的orc/parpuet ,parpuer查询与文件大小,应较好一些.
2. 经过压缩算法: parpuet 的gzip压缩方式的压缩比最小, 达到15% - 25%
3. 写入速度最快的应是orc, 较parpuet快了将近1.5倍.
后续会对orc/parpuet进行深入的测试及性能分析
对比说明: