本文介绍了Hive的不同文件格式，包括TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE和Parquet。讨论了它们的存储方式、压缩选项、查询效率及磁盘空间占用。列存储如RCFILE和ORCFILE在查询效率和压缩比上有优势，适合数据仓库场景。总结中建议根据需求选择合适压缩方式以平衡磁盘空间和执行速度。
文章目录
1.概述
hive文件存储格式包括以下几类：
| 名称 | 出现的版本 | 特点 |
|---|---|---|
| TEXTFILE | 文本，默认值 | |
| SEQUENCEFILE | 二进制序列文件 | |
| RCFILE | Hive0.6以后开始支持 | 列式存储格式文件 |
| ORCFILE | 0.11以后出现 | 列式存储格式文件，比RCFILE有更高的压缩比和读写效率 |
| Parquet | Hive0.13以后开始支持 | 列出存储格式文件 |
| 自定义格式 |
其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；
SEQUENCEFILE，RCFILE，ORCFILE格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中， 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。
订阅专栏 解锁全文
285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
