2.1.9 hadoop体系之离线计算-hdfs分布式文件系统-Hadoop数据压缩

目录

1.写在前面

2.MR支持的压缩编码

3.压缩配置参数总结

---

1.写在前面

        最近项目中用到了LZO压缩方式，这种压缩方式在hadoop文件中压缩效率非常高，想着hadoop本身也自带了包括default/gzip等压缩方式，这篇文章做一下对比学习，看一下每个压缩方式的使用场景，便于后面选型。压缩本身是为了减轻磁盘IO压力，节省存储资源，但是运用不当的话可能会适得其反，降低性能。

        那什么时候才应该使用压缩文件这个优化技巧呢？一般我们将job分为运算密集型job和IO密集型job，针对运算密集job建议少用压缩，后者可以尽可能多的使用压缩来进行优化。压缩Mapreduce的一种优化策略：通过压缩编码对Mapper或者Reducer的输出进行压缩，以减少磁盘IO，提高MR程序运行速度（但相应增加了cpu运算负担），另外压缩可以在MapReduce作用的任意阶段启用。

2.MR支持的压缩编码

压缩方式	压缩算法	文件扩展名	是否可切分	hadoop是否自带	切换压缩格式后，程序是否要修改	hadoop对应编码/解码器	优点	缺点	应用场景
DEFAULT	DEFAULT	.deflate	否	是	否	org.apache.hadoop.io.compress.DefaultCodec
Gzip	DEFAULT	.gz	否	是	否	org.apache.hadoop.io.compress.GzipCodec	压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；大部分linux系统都自带gzip命令，使用方便	不支持split	当每个文件压缩之后在140M以内的（1个块大小内），都可以考虑用gzip压缩格式。例如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序，streaming程序，和java写的mapreduce程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改
bzip2	bzip2	.bz2	是	是	否	org.apache.hadoop.io.compress.BZip2Codec	支持split；具有很高的压缩率，比gzip压缩率都高；hadoop本身支持，但不支持native(java和c互操作的API接口)；在linux系统下自带bzip2命令，使用方便	压缩/解压速度慢；不支持native	适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况
LZO	LZO	.lzo	是	否	需要建立索引，指定输入格式	com.hadoop.compression.lzo.LzopCodec	压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式；可以在linux系统下安装lzop命令，使用方便	压缩率比gzip要低一些；hadoop本身不支持，需要安装；在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）	一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显
Snappy	Snappy	.snappy	否	否	否	org.apache.hadoop.io.compress.SnappyCodec	高速压缩速度和合理的压缩率	不支持split；压缩率比gzip要低；hadoop本身不支持，需要安装	当Mapreduce作业的Map输出的数据比较大的时候，作为Map到Reduce的中间数据的压缩格式；或者作为一个Mapreduce作业的输出和另外一个Mapreduce作业的输入

3.压缩配置参数总结

        要在Hadoop中启用压缩，可以配置如下参数：

参数	默认值	阶段	建议
io.compression.codecs （在core-site.xml中配置）	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec	输入压缩	Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）	false	mapper输出	这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）	org.apache.hadoop.io.compress.DefaultCodec	mapper输出	使用LZO或snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）	false	reducer输出	这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）	org.apache.hadoop.io.compress. DefaultCodec	reducer输出	使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置）	RECORD	reducer输出	SequenceFile输出使用的压缩类型：NONE和BLOCK

 资料来源：

【Hadoop】Hadoop的数据压缩方式 - ShadowFiend - 博客园