替换当前hadoop文件使其支持snappy压缩格式
目录:支持snappy压缩的hadoop\hadoop-2.7.2\lib\native
开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下
案例实操
1)查看 hadoop 都支持什么压缩格式
[victor@hadoop102 hadoop] bin/hadoop checknative
2)开启hive中间传输数据压缩功能
hive (default)> set hive.exec.compress.intermediate=true;
3)开启mapreduce中map输出压缩功能
hive (default)> set mapreduce.map.output.compress=true;
4)设置mapreduce中map输出数据的压缩方式
hive (default)> set mapreduce.map.output.compress.codec=
org.apache.hadoop.io.compress.SnappyCodec;
5)执行查询语句
hive (default)> select count(ename) name from emp;