Hadoop压缩类型

压缩类型	工具	算法	文件名后缀	可分割
DEFLAT	无	DEFLAT	.deflat	不
gzip	gzip	DEFLAT	.gz	不
bzip2	bzip2	bzip2	.bz2	可
LZO	Lzop	LZO	.lzo	不
LZ4	无	LZ4	.lz4	不
Snappy	无	Snappy	.snappy	不

       比较而言，gzip在对时间与空间的处理问题上更加均衡一些。相对gzip来说，

bzip2压缩效率更高，比gzip效率更高，压缩后的文件占据的空间更小，但是其

需要的时间更长

      在HDFS文件格式，文件时分割在一个个不同的block中进行存储。而gzip是不

可分割的，那么如果采用gzip作为压缩工具，将文件切割成多个block，会发现

程序部能运行，其原因是系统默认的DEFLATE算法（gzip的核心算法）在压缩过

程中将数据进行连续的非指向性排列，若从其中一个位置被分割，那么无法确

保FileSystem实例在获取完一个单独的block后，能够及时准确地获取接下来的那

一个连续的block位置。

      但gzip压缩后的大文件可以被Hadoop以串联的方式存储在同一个节点中连续

的block中，即所有的数据都以链式的结构存储在同一个节点上，Hadoop做的仅

仅是对容量进行了压缩。只是由于其后续处理需要对文件进行读取操作时，所

有存储有数据的block将会一次由同一个数据输入任务来处理。