hive如何开启输出阶段压缩

开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：

开启hive中间传输数据压缩功能

**set hive.exec.compress.intermediate=true;**

开启mapreduce中map输出压缩功能

**set mapreduce.map.output.compress=true;**

设置mapreduce中map输出数据的压缩方式

**set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;**

执行查询语句

**select count(1) from score;**

开启Reduce输出阶段压缩

属性hive.exec.compress.output控制着这个功能,用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

开启hive最终输出数据压缩功能

**set hive.exec.compress.output=true;**

开启mapreduce最终输出数据压缩

**set mapreduce.output.fileoutputformat.compress=true;**

设置mapreduce最终数据输出压缩方式

**set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;**

设置mapreduce最终数据输出压缩为块压缩

**set mapreduce.output.fileoutputformat.compress.type=BLOCK;**

测试一下输出结果是否是压缩文件

**insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;**