Hive压缩方式设置

Map 输出阶段
开启 map 输出阶段压缩可以减少 job 中 map 和 reduce task 之间数据传输量。
具体配置如下：

#开启 hive 中间传输数据压缩功能
hive (bigdata)> set hive.exec.compress.intermediate=true;
#开启 mapreduce 中 map 输出压缩功能
hive (bigdata)> set mapreduce.map.output.compress=true;
#设置 mapreduce 中 map 输出数据的压缩方式
hive (bigdata)> set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

Reduce 输出阶段
当 Hive 将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值false，这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为 true，来开启输出结果压缩功能。

#开启 hive 最终输出数据压缩功能
hive (bigdata)> set hive.exec.compress.output=true;
#开启 mapreduce 最终输出数据压缩
hive (bigdata)> set mapreduce.output.fileoutputformat.compress=true;
#设置 mapreduce 最终数据输出压缩方式
hive (bigdata)> set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
#设置 mapreduce 最终数据输出压缩为块压缩
hive (bigdata)> set mapreduce.output.fileoutputformat.compress.type=BLOCK;