案例是按照权威指南第二版的MaxTemperatureWithCompression进行的。
输入:
当压缩文件做为mapreduce的输入时,mapreduce将自动通过扩展名找到相应的codec对其解压。
输出:
当mapreduce的输出文件需要压缩时,
1.可以更改mapred.output.compress为true,mapped.output.compression.codec为想要使用的codec的类名就可以了,
2.可以在代码中指定,通过调用FileOutputFormat的静态方法去设置这两个属性,我们来看代码:
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
impo