MapReduce设置输出压缩的三种方法

最新推荐文章于 2023-05-29 21:27:24 发布

日月星辰TEL

最新推荐文章于 2023-05-29 21:27:24 发布

阅读量3k

点赞数

分类专栏： MapReduce 文章标签： MapReduce输出压缩格式的三种方式

本文链接：https://blog.csdn.net/qq262593421/article/details/101685223

版权

MapReduce 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

1、FileOutputFormat设置

        // 优化措施一：压缩MapReduce的输出结果-->使用Gzip压缩-->输出空间占比小
		FileOutputFormat.setCompressOutput(job, true);	//setOutputCompressorClass
		// 使用输出文件压缩，设置reduce输出的压缩算法：Gzip压缩
		FileOutputFormat.setOutputCompressorClass(job, GzipCodec.class);

2、Configuration对象设置

        // 获取job的实例
		Job job = Job.getInstance();
        // 1、配置文件获取
		Configuration conf = this.getConf();
		// 优化手段：：压缩输出文件
		conf.set(FileOutputFormat.COMPRESS, "true");
		conf.set("mapreduce.output.fileoutputformat.compress.codec", GzipCodec.class.getName());

3、mapred-site.xml文件配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.output.fileoutputformat.compress</name>
		<value>true</value>
		<description>Reduce是否启用输出压缩</description>
	</property>
	<property>
		<name>mapreduce.output.fileoutputformat.compress.codec</name>
		<value>org.apache.hadoop.io.compress.GzipCodec</value>
		<description>Reduce输出压缩算法:Gzip</description>
	</property>
	<property>
		<name>mapreduce.map.output.compress</name> 
		<value>true</value>
		<description>Map是否开启输出压缩</description>
	</property>	
	<property>
		<name>mapreduce.map.output.compress.codec</name>
		<value>org.apache.hadoop.io.compress.SnappyCodec</value>
		<description>Map输出压缩算法：Snappy</description>
	</property>	
</configuration>