压缩hive输出

hive> set hive.exec.compress.output=true; 启用压缩

hive> set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 指定格式

 

查询

INSERT OVERWRITE DIRECTORY '/bip/test' SELECT * FROM ik_ADError;

 

结果

[pplive@namenode ~]$ hadoop fs -ls /bip/test
-rw-r--r--   3 pplive supergroup     561956 2012-07-27 17:28 /bip/test/000000_0.gz
-rw-r--r--   3 pplive supergroup     511540 2012-07-27 17:28 /bip/test/000001_0.gz