使用MultipleOutputs方法将mapreduce分组输出

端木胥

于 2019-05-13 22:15:56 发布

阅读量267

点赞数

分类专栏：大数据 Hadoop 文章标签：大数据 Map Reduce Hadoop

本文链接：https://blog.csdn.net/weixin_42586373/article/details/90182631

版权

本文介绍了如何在MapReduce中使用MultipleOutputs方法进行分组输出，详细阐述了MultipleOutputs的用法，包括write方法的规范和如何根据map的执行时间命名输出文件。示例代码展示了如何将输出文件分为多个，以及如何将这些文件输出到不同的文件夹下。

摘要由CSDN通过智能技术生成

使用MultipleOutputs方法将mapreduce分组输出

MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个输出文件该怎么办呢？

这里就用到了MR框架中的MultipleOutputs函数（MultipleOutputs是2.0之后的新API，是对老版本中MultipleOutputs与MultipleOutputFormat的一个整合）。
先来看段完整代码熟悉一下：

public class dateFormat {
    static class MyMapper extends Mapper<LongWritable,Text,Text,Text>{
        @Override
        protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {
            SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd-HH-mm-ss");
            String time = simpleDateFormat.format(new D