hive数据文件格式和压缩格式

最新推荐文章于 2024-06-26 20:37:47 发布

Wflowerd

最新推荐文章于 2024-06-26 20:37:47 发布

阅读量768

点赞数

分类专栏： Hive数据仓库构建文章标签： hive数据文件格式压缩格式

本文链接：https://blog.csdn.net/Wflowerd/article/details/80376036

版权

本文介绍了Hive中的文件格式，分为面向行和面向列两大类，并探讨了压缩格式，包括可切分和不可切分两种类型。

摘要由CSDN通过智能技术生成

.文件格式

文件格式按面向的存储形式不同，分为面向行和面向列两大类文件格式。

面向行、列类型	类型名称	是否可切割计算	优点	缺点	适用场景
面向行	文本文件（.txt)	YES	查看编辑简单	无压缩占空间大，传输压力大，数据解析开销大	学习练习使用
面向行	SequenceFile序列文件格式(.seq)	YES	自支持、二进制KV 存储，支持行和块的压缩	本地查看不方便，小文件合并成KV格式后不易查看内部数据	生产环境使用 map输出的默认文件格式
面向列	rcfile文件格式(.rc)	YES	数据加载快，查询快，空间利用率高，高负载能力	每一项都不是最高	学习生产均可
面向列	orcfile文件格式(.orc)	YES	兼具rcfile优点、进一步提高了读取、存储效率、新数据类型的支持	每一项都不是最高	学习生产均可