Hadoop-数据压缩

1、概述：

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁 盘空间的效率。在 Hadoop 下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O 操作和网络数据传输要花大量的时间。还有，Shuffle 与 Merge 过程同样也面临着巨大的 I/O 压力。

压缩 Mapreduce 的一种优化策略：通过压缩编码对 Mapper 或者 Reducer 的输出进行 压缩，以减少磁盘 IO，提高 MR 程序运行速度（但相应增加了 cpu 运算负担）。

注意：压缩特性运用得当能提高性能，但运用不当也可能降低性能。

基本原则： （1）运算密集型的 job，少用压缩 （2）IO 密集型的 job，多用压缩

2、MR 支持的压缩编码

为了支持多种压缩/解压缩算法，Hadoop 引入了编码/解码器，如下表所示：

压缩性能的比较

3、压缩方式选择

3.1、Gzip 压缩

优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop 本身支持，在应用中处理 gzip 格式的文件就和直接处理文本一样；大部分 linux 系统都自带 gzip 命令，使用方便。

缺点：不支持 split。

应用场景：当每个文件压缩之后在 130M 以内的（1 个块大小内），都可以考虑用 gzip 压缩格式。例如说一天或者一个小时的日志压缩成一个 gzip 文件，运行 mapreduce 程序的 时候通过多个 gzip 文件达到并发。hive 程序，streaming 程序，和 java 写的 mapreduce 程序 完全和文本处理一样，压缩之后原来的程序不需要做任何修改。

3.2、Bzip2 压缩

优点：支持 split；具有很高的压缩率，比 gzip 压缩率都高；hadoop 本身支持，但不支 持 native；在 linux 系统下自带 bzip2 命令，使用方便。

缺点：压缩/解压速度慢；不支持 native。

应用场景：适合对速度要求不高，但需要较高的压缩率的时候，可以作为 mapreduce 作 业的输出格式；或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并 且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需 要支持 split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。

3.3、Lzo 压缩

优点：压缩/解压速度也比较快，合理的压缩率；支持 split，是 hadoop 中最流行的压缩 格式；可以在 linux 系统下安装 lzop 命令，使用方便。

缺点：压缩率比 gzip 要低一些；hadoop 本身不支持，需要安装；在应用中对 lzo 格式 的文件需要做一些特殊处理（为了支持 split 需要建索引，还需要指定 inputformat 为 lzo 格 式）。

应用场景：一个很大的文本文件，压缩之后还大于 200M 以上的可以考虑，而且单个文 件越大，lzo 优点越越明显。

3.4、Snappy 压缩

优点：高速压缩速度和合理的压缩率。

缺点：不支持 split；压缩率比 gzip 要低；hadoop 本身不支持，需要安装。

应用场景：当 Mapreduce 作业的 Map 输出的数据比较大的时候，作为 Map 到 Reduce 的中间数据的压缩格式；或者作为一个 Mapreduce 作业的输出和另外一个 Mapreduce 作业的 输入。

4、压缩位置选择

压缩可以在 MapReduce 作用的任意阶段启用。

5、压缩配置参数

要在 Hadoop 中启用压缩，可以在 mapred-site.xml配置如下参数：

6、案例实操：

6.1、数据流的压缩和解压缩

 

6.2、Map 输出端采用压缩

map输出通过网络传输到 reduce 节点，对其压缩可以提 高很多性能，这些工作只要在*Driver类中设置两个属性即可：

6.3、Reduce 输出端采用压缩