hive如何开启输出阶段压缩-大萝卜博客

开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下：

• 开启hive中间传输数据压缩功能

set hive.exec.compress.intermediate=true;

• 开启mapreduce中map输出压缩功能

set mapreduce.map.output.compress=true;

• 设置mapreduce中map输出数据的压缩方式

set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

• 执行查询语句

select count(1) from score;

开启Reduce输出阶段压缩

属性hive.exec.compress.output控制着这个功能,用户可以通过在查询语句或执行脚本中设置这个值为true，来开启输出结果压缩功能。

• 开启hive最终输出数据压缩功能

set hive.exec.compress.output=true;

• 开启mapreduce最终输出数据压缩

set mapreduce.output.fileoutputformat.compress=true;

• 设置mapreduce最终数据输出压缩方式

set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;

• 设置mapreduce最终数据输出压缩为块压缩

set mapreduce.output.fileoutputformat.compress.type=BLOCK;

• 测试一下输出结果是否是压缩文件

insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;