第7节、MapReduce_压缩

4.1 概述

1）压缩的好处和坏处

压缩的优点：以减少磁盘 IO、减少磁盘存储空间。

压缩的缺点：增加 CPU 开销。（压缩和解压缩的过程需要进过CPU的计算，占用CPU资源）

2）压缩原则

（1）运算密集型的 Job，少用压缩

（2）IO 密集型的 Job，多用压缩

4.2 MR 支持的压缩编码

1）压缩算法对比介绍

压缩格式	Hadoop自带	算法	文件扩展名	是否可切片	换成压缩格式后，原来的程序是否需要修改
DEFLATE	是，直接使用	DEFLATE	.deflate	否	和文本处理一样，不需要修改
Gzip	是，直接使用	DEFLATE	.gz	否	和文本处理一样，不需要修改
bzip2	是，直接使用	bzip2	.bz2	是	和文本处理一样，不需要修改
LZO	否，需要安装	LZO	.lzo	是	需要建索引，还需要指定输入格式
Snappy	是，直接使用	Snappy	.snappy	否	和文本处理一样，不需要修改

2）压缩性能的比较

压缩算法	原始文件大小	压缩文件大小	压缩速度	解压速度
gzip	8.3GB	1.8GB	17.5MB/s	58MB/s
bzip2	8.3GB	1.1GB	2.4MB/s	9.5MB/s
LZO	8.3GB	2.9GB	49.3MB/s	74.6MB/s

4.3 压缩方式选择

4.3.1 Gzip 压缩

优点：压缩率比较高；

缺点：不支持 Split；压缩/解压速度一般；

4.3.2 Bzip2 压缩

优点：压缩率高；支持 Split；

缺点：压缩/解压速度慢。

4.3.3 Lzo 压缩

优点：压缩/解压速度比较快；支持 Split；

缺点：压缩率一般；想支持切片需要额外创建索引。

4.3.4 Snappy 压缩

优点：压缩和解压缩速度快；

缺点：不支持 Split；压缩率一般；

4.3.5 压缩位置选择

压缩可以在 MapReduce 作用的任意阶段启用。

4.4 压缩参数配置

1）为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器

压缩格式	对应的编码/解码器
DEFLATE	org.apache.hadoop.io.compress.DefaultCodec
gzip	org.apache.hadoop.io.compress.GzipCodec
bzip2	org.apache.hadoop.io.compress.BZip2Codec
LZO	com.hadoop.compression.lzo.LzopCodec
Snappy	org.apache.hadoop.io.compress.SnappyCodec
在红框中的类里面进行压缩和解压缩处理

2）要在 Hadoop 中启用压缩，可以配置如下参数

参数	默认值	阶段	建议
io.compression.codecs（在 core-site.xml 中配置）<在这个文件中增加删除压缩方式>	无这个需要在命令行输入hadoop checknative 查看	输入压缩	Hadoop 使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compr ess（在 mapred-site.xml 中配置）	false(默认关闭的)	mapper 输出	这个参数设为 true 启用压缩
mapreduce.map.output.compr ess.codec（在 mapred-site.xml 中配置）	org.apache.hadoop.io.com press.DefaultCodec	mapper 输出	企业多使用 LZO 或Snappy 编解码器在此阶段压缩数据
mapreduce.output.fileoutpu tformat.compress（在mapred-site.xml 中配置）	false(默认关闭的)	reducer 输出	这个参数设为 true 启用压缩
mapreduce.output.fileoutpu tformat.compress.codec（在mapred-site.xml 中配置）<设置采用哪种压缩方式>	org.apache.hadoop.io.com press.DefaultCodec	reducer 输出	使用标准工具或者编解码器，如 gzip 和bzip2

注意：snappy是根据Hadoop3.x和centos7.5配合使用才支持这种方式

4.5 压缩实操案例

4.5.1 Map 输出端采用压缩

即使你的 MapReduce 的输入输出文件都是未压缩的文件，你仍然可以对 Map 任务的中间结果输出做压缩，因为它要写在硬盘并且通过网络传输到 Reduce 节点，对其压缩可以提高很多性能，这些工作只要设置两个属性即可。
Hadoop 源码支持的压缩格式有：BZip2Codec、DefaultCodec

（1）方式一：map输出端开启压缩（Driver类里面）：

   //开启map端输出压缩
   conf.setBoolean("mapreduce.map.output.compress",true);

   //设置map端输出压缩方式  
   conf.setClass("mapreduce.map.output.compress.codec", BZip2Codec.class,CompressionCodec.class);//可根据需求换成SnappyCodec.class等压缩格式

（2）方式二：reduce输出端开启压缩（Driver类里面）：

//设置reduce端输出压缩开启
        FileOutputFormat.setCompressOutput(job,true);
        FileOutputFormat.setOutputCompressorClass(job,BZip2Codec.class);  //可根据需要GzipCodec.class、DefaultCodec.class等压缩方式