MapReduce之多目录输出

最新推荐文章于 2022-06-12 20:49:32 发布

爱吃芝麻

最新推荐文章于 2022-06-12 20:49:32 发布

阅读量413

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/weixin_43006131/article/details/103098752

版权

该博客介绍了如何在MapReduce任务中实现多目录输出，主要内容包括在reduce阶段定义和创建MultipleOutputs对象，以及如何利用该对象将结果分别写入到'maxout/max'和'minout/min'目录下。

摘要由CSDN通过智能技术生成

多目录输出：

输出两个文件一个是最大值，一个最小值。

主要操作reduce阶段

1.在reduce阶段定义多目录输出对象

private MutipleOutPuts<Text,DouWritable> outputs =null;

2.在setup()创建多目录输出对象需要context支持

outputs = new MultipleOutputs(context);

3.在reduce用多目录输出对象生成多目录

outputs.write(new Text(maxkey), new DoubleWritable(maxval), "maxout/max");

outputs.write(new Text(minkey), new DoubleWritable(minval), "minout/min");

代码：

package com.hnxy.mr.Multiple;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.MultipleOutputs;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRu