MapReduce学习总结（6）-----Hadoop 数据压缩

数据压缩

压缩的好处和坏处
压缩的优点:以减少磁盘 IO、减少磁盘存储空间。
压缩的缺点:增加 CPU 开销。

压缩原则
(1)运算密集型的 Job，少用压缩
(2)IO 密集型的 Job，多用压缩

压缩算法

Gzip 压缩
优点:压缩率比较高;
缺点:不支持 Split;压缩/解压速度一般;

Bzip2 压缩
优点:压缩率高;支持 Split;
缺点:压缩/解压速度慢

Lzo 压缩
优点:压缩/解压速度比较快;支持 Split;
缺点:压缩率一般;想支持切片需要额外创建索引。

Snappy 压缩
优点:压缩和解压缩速度快;
缺点:不支持 Split;压缩率一般;

压缩方式选择

压缩方式选择时重点考虑:
压缩/解压缩速度
压缩率(压缩后存储大小)
压缩后是否可以支持切片