一、为什么使用压缩
与我们系统中的压缩概念相似,通过压缩技术,不仅可以降低文件在磁盘中的占用空间,还可以降低在I/O操作过程中消耗的网络带宽和资源,从而提升文件传输效率。
因此,我们可以总结出使用压缩有两个好处,也是主要用来优化的两个方向:
- 降低最后持久化到磁盘的文件容量占比,节省空间。
- 降低在hadoop分布式中经常发生的文件交换传输带宽占比,提升传输效率。
而在hadoop中,压缩技术显得尤为重要,我们来看看下面这张图,此图摘抄至互联网。
这是一张以MapReduce为计算框架的shuffle过程图。shuffle意为洗牌,在此处表示map task输出的内容进行缓存、排序、重组再输入仅reduce task的过程。从上图我们可以发现,默认情况下,在map task输出阶段的内容并没有进行压缩,这不仅造成内存使用的浪费,也造成在shuffle过程中的效率低下。
因此,再结合上述优化的两个方向,我们可总结出在hadoop采用MapReduce为计算框架时,可优化的地方:
- map task阶段压缩(mapreduce.map.output.compress.codec)
- reduce task阶段压缩(mapreduce.output.fileoutputformat.compress.codec)
二、hadoop中的压缩格式
以下从一位博主处摘抄的表格,详细内容可点击此链接,内有详细的各种压缩格式优缺点的说明
从上图我们可以发现,我们常见的gzip和bzip也在其中,且bzip在上述的所有压缩格式中压缩程度最高,而snappy压缩格式的压缩耗时最低。因此在生产环境中建议在map task输出阶段采用snappy压缩,既可以保证内存容量占比的降低,也保障了cpu有足够的资源提供给map task和reduce task。在reduce task输出阶段,也即最终输出的结果,采用bzip进行压缩,提高磁盘的可利用率。
三、配置参数
因为优化之处主要涉及计算,且本篇文章的讨论是基于MapReduce作为计算框架,因此需要修改的配置文件为mapred-site.xml
和core-site.xml
。如果采用的是Spark等作为计算框架时,请自行翻阅相关资料。
注意:在配置以下参数之前,建议先使用
hadoop checknative -a
查看当前hadoop已可支持的压缩格式,如若对应格式显示为false,则表示不支持,需要另行安装相关包文件。
3.1、core-site.xml
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.Lz4Codec,
org.apache.hadoop.io.compress.SnappyCodec,
</value>
<description>可以启用的压缩方式</description>
</property>
3.2、mapred-site.xml
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
<description>mapper输出阶段是否启用压缩</description>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description>mapper输出阶段采用的压缩格式,建议选择节省cpu耗时的压缩方式,提高shuffle过程中的传输效率且不占用过多的cpu资源(留给mapper和reducer)</description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress</name>
<value>true</value>
<description>reducer输出阶段是否启用压缩</description>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.BZip2Codec</value>
<description>reducer输出阶段采用的压缩方式,建议选择高压缩比方式,减少存储文件所占空间,提升数据传输效率</description>
</property>
参考资料:
https://zhuanlan.zhihu.com/p/22265062
https://blog.csdn.net/yu0_zhang0/article/details/79524842