mapreduce程序的压缩实现

最新推荐文章于 2024-08-19 23:44:21 发布

江南浙里

最新推荐文章于 2024-08-19 23:44:21 发布

阅读量489

点赞数 1

分类专栏： mapreduce 文章标签： mapreduce codec

本文链接：https://blog.csdn.net/wuzhongfei88/article/details/45198739

版权

本文根据《权威指南》第二版的MaxTemperatureWithCompression案例，探讨MapReduce如何处理压缩输入及输出。当MapReduce接收压缩输入文件时，会自动识别并解压；若需压缩输出，可通过配置mapred.output.compress为true，并指定compressed.output.compression.codec，或者在代码中利用FileOutputFormat静态方法设定压缩方式。

摘要由CSDN通过智能技术生成

案例是按照权威指南第二版的MaxTemperatureWithCompression进行的。

输入：

当压缩文件做为mapreduce的输入时，mapreduce将自动通过扩展名找到相应的codec对其解压。

输出：

当mapreduce的输出文件需要压缩时，

1.可以更改mapred.output.compress为true，mapped.output.compression.codec为想要使用的codec的类名就可以了，

2.可以在代码中指定，通过调用FileOutputFormat的静态方法去设置这两个属性，我们来看代码：

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
impo