sqoop 1.4.4 使用3

这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,

--compress
--compression-codec 
org.apache.hadoop.io.compress.BZip2Codec

 使用的Bzip

当然hive的表也自动存为Bzip的. 

但是 如果hive 使用RCFile 存储,

create table table_rcfile STORED AS RCFile as
select * from table_bzip;

 会报错 

Failed with exception java.io.IOException:java.io.IOException: not a gzip file

 google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%3CAANLkTik=bYuFck=+E1K6yDt1uWD_P2hhUthCaFtRO1Yp@mail.gmail.com%3E

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值