Gzip,BZip2,Lzo,Snappy比较
gzip,bzip2,lzo,snappy是hadoop中比较常见的文件压缩格式,可以节省很多硬盘存储,以下是Gzip , BZip2 , Lzo Snappy 四种方式的优缺点 和使用场景
1.Gzip
优点:
1.压缩解压速度快 , 压缩率高 , hadoop本身支持
2.处理压缩文件时方便 , 和处理文本一样
3.大部分linux 系统自带 Gzip 命令 , 使用方便
缺点:
不支持切片
使用场景:
1.文件压缩后在130M以内 (一个块大小) , 都可以使用
原创
2021-05-06 22:08:32 ·
2131 阅读 ·
0 评论