MapReduce开启压缩算法对结果进行压缩

方法①:在代码中进行压缩设置

map方法添加

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

reduce方法中添加

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

方法②:全局MapReduce压缩配置

修改配置文件mapred-site.xml

map输出数据进行压缩

<property>
          <name>mapreduce.map.output.compress</name>
          <value>true</value>
</property>
<property>
         <name>mapreduce.map.output.compress.codec</name>
         <value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

reduce输出数据进行压缩

<property>       
    <name>mapreduce.output.fileoutputformat.compress</name>
     <value>true</value>
</property>
<property>         
     <name>mapreduce.output.fileoutputformat.compress.type</name>
     <value>RECORD</value>
</property>
 <property>        
      <name>mapreduce.output.fileoutputformat.compress.codec</name>
      <value>org.apache.hadoop.io.compress.SnappyCodec</value> 
</property>

修改完毕后重启集群

hadoop支持的压缩算法

压缩格式	工具	算法	文件扩展名	是否可切分
DEFLATE	无	DEFLA	.deflate	否
Gzip	gzip	EFLATE	.gz	否
bzip2	bzip2	bzip2	.bz2	是
LZO	lzop	LZO	.lzo	否
LZ4	无	LZ4	.lz4	否
Snappy	无	Snappy	.snappy	否

我的个人博客地址:https://www.blog.kamisamak.com/