Hadoop压缩配置
压缩格式 算法 文件扩展名 是否可切分 对应的编码/解码器
DEFLATE DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec
Gzip DEFLATE .gz 否 org.apache.hadoop.io.compress.GzipCodec
bzip2 bzip2 .bz2 是 org.apache.hadoop.io.compress.BZip2Codec
LZO LZO .lzo 是 com.hadoop.compression.lzo.LzopCodec
Snappy Snappy .snappy 否 org.apache.hadoop.io.compress.SnappyCodec
压缩性能的比较
压缩算法 原始文件大小 压缩文件大小 压缩速度 解压速度、
gzip 8.3GB 1.8GB 17.5MB/s 58MB/s
bzip2 8.3GB 1.1GB 2.4MB/s 9.5MB/s
LZO 8.3GB 2.9GB 49.3MB/s 74.6MB/s
压缩参数配置mapred-site.xml
参数 默认值 阶段
io.compression.codecs(在core-site.xml中配置) org.apache.hadoop.io.compress.DefaultCodec, 输入压缩
org.apache.hadoop.io.compress.GzipCodec, 输入压缩
org.apache.hadoop.io.compress.BZip2Codec, 输入压缩
org.apache.hadoop.io.compress.Lz4Codec 输入压缩
mapreduce.map.output.compress false mapper输出
mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.DefaultCodec mapper输出
mapreduce.output.fileoutputformat.compress false reducer输出
mapreduce.output.fileoutputformat.compress.codec org.apache.hadoop.io.compress. DefaultCodec reducer输出
mapreduce.output.fileoutputformat.compress.type RECORD reducer输出