hadoop压缩

一、为什么使用压缩

与我们系统中的压缩概念相似，通过压缩技术，不仅可以降低文件在磁盘中的占用空间，还可以降低在I/O操作过程中消耗的网络带宽和资源，从而提升文件传输效率。
因此，我们可以总结出使用压缩有两个好处，也是主要用来优化的两个方向：

1. 降低最后持久化到磁盘的文件容量占比，节省空间。
2. 降低在hadoop分布式中经常发生的文件交换传输带宽占比，提升传输效率。

而在hadoop中，压缩技术显得尤为重要，我们来看看下面这张图，此图摘抄至互联网。

这是一张以MapReduce为计算框架的shuffle过程图。shuffle意为洗牌，在此处表示map task输出的内容进行缓存、排序、重组再输入仅reduce task的过程。从上图我们可以发现，默认情况下，在map task输出阶段的内容并没有进行压缩，这不仅造成内存使用的浪费，也造成在shuffle过程中的效率低下。
因此，再结合上述优化的两个方向，我们可总结出在hadoop采用MapReduce为计算框架时，可优化的地方：

1. map task阶段压缩（mapreduce.map.output.compress.codec）
2. reduce task阶段压缩（mapreduce.output.fileoutputformat.compress.codec）

二、hadoop中的压缩格式

以下从一位博主处摘抄的表格，详细内容可点击此链接，内有详细的各种压缩格式优缺点的说明

从上图我们可以发现，我们常见的gzip和bzip也在其中，且bzip在上述的所有压缩格式中压缩程度最高，而snappy压缩格式的压缩耗时最低。因此在生产环境中建议在map task输出阶段采用snappy压缩，既可以保证内存容量占比的降低，也保障了cpu有足够的资源提供给map task和reduce task。在reduce task输出阶段，也即最终输出的结果，采用bzip进行压缩，提高磁盘的可利用率。

三、配置参数

因为优化之处主要涉及计算，且本篇文章的讨论是基于MapReduce作为计算框架，因此需要修改的配置文件为mapred-site.xml和core-site.xml。如果采用的是Spark等作为计算框架时，请自行翻阅相关资料。

注意：在配置以下参数之前，建议先使用hadoop checknative -a查看当前hadoop已可支持的压缩格式，如若对应格式显示为false，则表示不支持，需要另行安装相关包文件。

3.1、core-site.xml

<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.Lz4Codec,
org.apache.hadoop.io.compress.SnappyCodec,
</value>
<description>可以启用的压缩方式</description>
</property>

3.2、mapred-site.xml

<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
<description>mapper输出阶段是否启用压缩</description>
</property>

<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description>mapper输出阶段采用的压缩格式，建议选择节省cpu耗时的压缩方式，提高shuffle过程中的传输效率且不占用过多的cpu资源（留给mapper和reducer）</description>
</property>

<property>
<name>mapreduce.output.fileoutputformat.compress</name>
<value>true</value>
<description>reducer输出阶段是否启用压缩</description>
</property>

<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.BZip2Codec</value>
<description>reducer输出阶段采用的压缩方式，建议选择高压缩比方式，减少存储文件所占空间，提升数据传输效率</description>
</property> 

参考资料：
https://zhuanlan.zhihu.com/p/22265062
https://blog.csdn.net/yu0_zhang0/article/details/79524842