本文详细介绍了Hive中的列式存储与行式存储，并比较了TEXTFILE、SEQUENCEFILE、RCFILE、ORC、Parquet和AVRO等常见文件存储格式的区别与联系。性能测试结果显示，ORC和Parquet在存储空间和查询速度上有优势，但Hive默认采用TextFile格式，主要考虑源数据通常是text格式。建议根据实际需求选择适合的文件存储格式。
前言
Hive中常用的文件存储格式有：TEXTFILE 、SEQUENCEFILE、RCFILE、ORC、PARQUET，AVRO。其中TEXTFILE 、SEQUENCEFILE、AVRO都是基于行式存储，其它三种是基于列式存储；所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了A方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。
列式存储和行式存储
如上图所示，左边为逻辑表，右边第一个为行式存储，第二个为列式存储。
1．行存储的特点
查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。
2．列存储的特点
因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法。
Hive中几种常用文件存储格式的区别与联系
| 文件存储格式 | 描述 | 建表时如何指定 | 优缺点 |
| TEXTFILE | 文件存储就是正常的文本格式，将表中的数据在hdfs上 以文本的格式存储 ，下载后可以直接查看，也可以使用cat命令查看 |
1.无需指定，默认就是 'org.apac |
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
