Hive 文件压缩存储格式(STORED AS)

本文介绍了Hive的三种文件存储格式:TEXTFILE(默认且可配合压缩)、SEQUENCEFILE(二进制、可分割、可压缩)和RCFILE(行列存储结合、利于压缩和列存取)。详细阐述了每种格式的特点和使用场景,强调RCFILE在数据仓库中的优势。
摘要由CSDN通过智能技术生成
Hive文件存储格式包括以下几类:

1.TEXTFILE 
2.SEQUENCEFILE 
3.RCFILE 
4.自定义格式 


其中TEXTFILE为默认格式,建表时不指定,默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。
SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中,然后再从textfile表中用insert导入到SequenceFile,RCFile表中。

TEXTFILE
默认格式,数据不做压缩,磁盘开销大,数据解析开销大。可结合Gzip、Bzip2使用(系统自动检查,执行查询时自动解压), 但使用这种方式,hive不会对数据进行切分,从而无法对数据进行并行操作。

> create ta
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值