HIVE压缩

1）map

-》开启输出压缩功能：

set hive.exec.compress.intermediate = true;
 -》开始map压缩功能：                              
hive (mongdb)> set mapreduce.map.output.compress;
mapreduce.map.output.compress=false
hive (mongdb)> set mapreduce.map.output.compress = true;

-》开启压缩方式：
hive (mongdb)> set mapreduce.map.output.compress.codec;
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.DefaultCodec
hive (mongdb)> set mapreduce.map.output.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
hive (mongdb)> set mapreduce.map.output.compress.codec;
mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec

2）开启reduce端的压缩功能

-》开启最终输出压缩功能

set hive.exec.compress.output= true;

-》开启reduce最终数据压缩功能

mapreduce.output.fileoutputformat.compress=true；

-》设置压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

-》设置块压缩：

set mapreduce.output.fileoutputformat.compress.type=BLOCK;