hive存储格式的对和存储压缩相结合

最新推荐文章于 2023-07-05 15:52:09 发布

嘎嘎想学习

最新推荐文章于 2023-07-05 15:52:09 发布

阅读量504

点赞数

文章标签： hive 大数据 hadoop

本文链接：https://blog.csdn.net/m0_45847655/article/details/126609703

版权

Hive支持的存储格式包括TEXTFILE、SEQUENCEFILE、ORC和PARQUET，其中ORC和PARQUET为列存，提供更高的压缩比。TEXTFILE配合Gzip或Bzip2可压缩，但Gzip不支持并行操作。ORC是Hive 0.11版引入的高效格式，支持NONE, ZLIB, SNAPPY压缩。压缩比：ORC > Parquet > TEXTFile。" 94434399,7329051,Bootstrap fileinput 同步上传回调解析,"['Bootstrap', '前端开发', 'javascript']

摘要由CSDN通过智能技术生成

Hive支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。

TEXTFILE 、SEQUENCEFILE为行存

ORC、PARQUET为列存

TextFile格式：默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用，但使用Gzip这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

Orc格式：Orc (Optimized Row Columnar)是Hive 0.11版里引入的新的存储格式。

文件存储格式的对比：

（1）创建表，存储数据格式为TEXTFILE

create table log_text (
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
)
row format delimited fields terminated by '\t'
stored as textfile;  //此行可以省略，默认的存储格式就是text