黑猴子的家：Hive 开启 Map 输出阶段压缩

替换当前hadoop文件使其支持snappy压缩格式
目录：支持snappy压缩的hadoop\hadoop-2.7.2\lib\native
开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下

案例实操

1）查看 hadoop 都支持什么压缩格式

[victor@hadoop102 hadoop] bin/hadoop checknative

2）开启hive中间传输数据压缩功能

hive (default)> set hive.exec.compress.intermediate=true;

3）开启mapreduce中map输出压缩功能

hive (default)> set mapreduce.map.output.compress=true;

4）设置mapreduce中map输出数据的压缩方式

hive (default)> set mapreduce.map.output.compress.codec= 
                org.apache.hadoop.io.compress.SnappyCodec;

5）执行查询语句

hive (default)> select count(ename) name from emp;