hadoop MapReduce 压缩算法

压缩好处

• 节约磁盘空间
• 加速数据在网络和磁盘上的传输

hadoop支持的压缩格式

前面hadoop的版本经过重新编译之后，可以看到hadoop已经支持所有的压缩格式了，剩下的问题就是该如何选择使用这些压缩格式来对MapReduce程序进行压缩
可以使用bin/hadoop checknative 来查看编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包

bin/hadoop checknative
yum install openssl-devel

各种压缩算法对应使用的java类

常见的压缩速率比较

压缩代码

//代码添加到主类

//设置map阶段的Snappy压缩
Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

//设置reduce阶段的Snappy压缩
configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

例：

配置全局的MapReduce压缩

修改mapred-site.xml配置文件，然后重启集群，以便对所有的mapreduce任务进行压缩

<--  map输出数据进行压缩  -->
<property>
          <name>mapreduce.map.output.compress</name>
          <value>true</value>
</property>
<property>
         <name>mapreduce.map.output.compress.codec</name>
         <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

<--  reduce输出数据进行压缩  -->
<property>       
		<name>mapreduce.output.fileoutputformat.compress</name>
       	<value>true</value>
</property>
<property>         
		<name>mapreduce.output.fileoutputformat.compress.type</name>
        <value>RECORD</value>
</property>
 <property>      
 		 <name>mapreduce.output.fileoutputformat.compress.codec</name
 		 <value>org.apache.hadoop.io.compress.SnappyCodec</value> 
 </property>

所有节点都要修改mapred-site.xml，修改完成之后记得重启集群