hadoop压缩简记

Hadoop压缩配置
    压缩格式             算法           文件扩展名            是否可切分        对应的编码/解码器
    DEFLATE              DEFLATE        .deflate              否                org.apache.hadoop.io.compress.DefaultCodec
    Gzip                 DEFLATE        .gz                   否                org.apache.hadoop.io.compress.GzipCodec
    bzip2                bzip2          .bz2                  是                org.apache.hadoop.io.compress.BZip2Codec
    LZO                  LZO            .lzo                  是                com.hadoop.compression.lzo.LzopCodec
    Snappy               Snappy         .snappy               否                org.apache.hadoop.io.compress.SnappyCodec
    
    压缩性能的比较
    压缩算法            原始文件大小            压缩文件大小            压缩速度           解压速度、
    gzip                8.3GB                   1.8GB                   17.5MB/s           58MB/s
    bzip2               8.3GB                   1.1GB                   2.4MB/s            9.5MB/s
    LZO                 8.3GB                   2.9GB                   49.3MB/s           74.6MB/s
    
    压缩参数配置mapred-site.xml
    参数                                               默认值                                       阶段
    io.compression.codecs(在core-site.xml中配置)       org.apache.hadoop.io.compress.DefaultCodec,  输入压缩
                                                       org.apache.hadoop.io.compress.GzipCodec,     输入压缩
                                                       org.apache.hadoop.io.compress.BZip2Codec,    输入压缩
                                                       org.apache.hadoop.io.compress.Lz4Codec       输入压缩
    mapreduce.map.output.compress                      false                                        mapper输出
    mapreduce.map.output.compress.codec                org.apache.hadoop.io.compress.DefaultCodec   mapper输出
    mapreduce.output.fileoutputformat.compress         false                                        reducer输出
    mapreduce.output.fileoutputformat.compress.codec   org.apache.hadoop.io.compress. DefaultCodec  reducer输出
    mapreduce.output.fileoutputformat.compress.type    RECORD                                       reducer输出