Hive数据格式选择ORC及使用sqoop数据导入
数据存储格式和压缩方式选择Hive数据存储和压缩参考如下测试参数:1.在压缩存储时间上,除Sequencefile外基本都相差无几。2.数据压缩比例上ORC最优,parquet压缩性能也较好。3.SQL查询速度而言,ORC与parquet性能较好,远超其余存储格式。综合上述各种性能指标,我们采用ORC+SNAPPY压缩格式,这也是目前主流的做法。参考链接https://blog.csdn.net/breakout_alex/article/details/103007514https:/
原创
2020-05-15 17:23:42 ·
3647 阅读 ·
0 评论