Hadoop压缩方式

gzip:
应用场景：当每个文件压缩之后在130M以内的（一个块大小内），都可以考虑用gzip压缩格式。
优点：压缩效率高，压缩/解压速度快；hadoop支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统自带gzip命令，使用方便。
缺点：不支持split

snappy：
应用场景：当mapredcue作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；或者作为一个maoreduce作业的输出和另一个mapreduce作业的输入。
优点：告诉压缩速度和合理的压缩率；支持hadooop native库。
缺点：不支持split;压缩率比gzip要低lhadoop本省不支持，需要安装；linux系统下没有对应的命令

lzo:
应用场景：一个很大的文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越明显。
优点：压缩/解压缩速度也比较快，合理的压缩率；支持split,是hadoop中最流行的压缩格式；支持hadoop native库；可以在linux系统下安装lzo命令，使用方便。
缺点：压缩率比gzip要低一些；hadoop本身不支持，需要安装；再引用中对lzo格式的文件需要做一些特殊处理（位了支持split需要建立索引，还需要指定inputformat位lzo格式）

bzip2:
应用场景：使用对速度要求不高，但需求较高的压缩率的时候，可以作为mapreduce作业的输出格式；或者输出之后的数据比较大，处理洲的数据需要压缩存档减少磁盘空间并且以后数据用的比较少的情况；或者对单个很大的文本文件想要压缩减少存储空间，同时有需要支持split,而且兼容之前的应用程序（即应用程序不需要修稿）的情况。
优点：支持split;具有很高的压缩率，比gzip压缩率高；hadoop本省支持，但不支持native;在linux系统下自带bzip2命令，使用方便。
缺点；压缩、解压缩速度慢。