Snappy、Lzo、Gzip、Bzip2比较

Hadoop上常用压缩格式对比：

压缩格式	扩展名	多文件	支持切片	压缩比排行	解压速度排行	工具	hadoop自带
gzip	.gz	否	否	2	3	gzip	是
bzip2	.bz2	是	是	1	4	bzip2	是
lzo	.lzo	否	是	3	2	lzop	否
snappy	.snappy	否	否	4	1	无	否

 

压缩率 : BZip2 > GZip > Lzo > Snappy

压缩速率 : Snappy > Lzo > GZIp > BZip2

支持切片 : BZIp2、LZo

 

Lzo支持切片，对于压缩后文件还是比较大，需要切片的情况下使用比较多

Snappy解压速度最快，对解压速度要求高的场景使用比较多，Hadoop平台上使用最广泛

Bzip2压缩解压的速度都非常慢，现在使用愈来愈少

 

检查Hadoop压缩格式

hadoop checknative

19/07/02 09:12:58 INFO bzip2.Bzip2Factory: Successfully loaded & initialized
 native-bzip2 library system-native
19/07/02 09:12:58 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hadoop/lib/native/libhadoop.so.1.0.0
zlib:    true /lib/x86_64-linux-gnu/libz.so.1
snappy:  true /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hadoop/lib/native/libsnappy.so.1
lz4:     true revision:10301
bzip2:   true /lib/x86_64-linux-gnu/libbz2.so.1
openssl: true /usr/lib/x86_64-linux-gnu/libcrypto.so