hadoop的reducer输出多个文件

最新推荐文章于 2024-09-11 22:16:31 发布
最新推荐文章于 2024-09-11 22:16:31 发布
阅读量8k 收藏 1
点赞数 1
分类专栏： hadoop 文章标签： hadoop parameters string mapreduce null exception

hadoop的reducer输出多个文件

关键字: hadoop, mapreduce

有时候我们想到这样的功能: reducer能根据key(或value)值来输出多个文件，同一key(或value)处于同一个文件中。现在hadoop的0.17.x版本可以重写MultipleOutputFormat的generateFileNameForKeyValue就可以实现此功能。

比如：
Java代码 复制代码
  1. package org.apache.hadoop.mapred.lib;   
  2.   
  3. import java.io.IOException;   
  4.   
  5. import org.apache.hadoop.fs.FileSystem;   
  6. import org.apache.hadoop.io.Writable;   
  7. import org.apache.hadoop.io.WritableComparable;   
  8. import org.apache.hadoop.mapred.JobConf;   
  9. import org.apache.hadoop.mapred.RecordWriter;   
  10. import org.apache.hadoop.mapred.TextOutputFormat;   
  11. import org.apache.hadoop.util.Progressable;   
  12.   
  13. public class MultipleTextOutputFormat<K extends WritableComparable, V extends Writable>   
  14.     extends MultipleOutputFormat<K, V> {   
  15.   
  16.   private TextOutputFormat<K, V> theTextOutputFormat = null;   
  17.   
  18.   @Override  
  19.   protected RecordWriter<K, V> getBaseRecordWriter(FileSystem fs, JobConf job,   
  20.       String name, Progressable arg3) throws IOException {   
  21.     if (theTextOutputFormat == null) {   
  22.       theTextOutputFormat = new TextOutputFormat<K, V>();   
  23.     }   
  24.     return theTextOutputFormat.getRecordWriter(fs, job, name, arg3);   
  25.   }   
  26.   
  27.     @Override  
  28.     protected String generateFileNameForKeyValue(K key, V value, String name) {   
  29.         return name + "_" + value.toString();   
  30.     }   
  31.      
  32.      
  33. }  
package org.apache.hadoop.mapred.lib;

import java.io.IOException;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.mapred.JobConf;
import org.apache.hadoop.mapred.RecordWriter;
import org.apache.hadoop.mapred.TextOutputFormat;
import org.apache.hadoop.util.Progressable;

public class MultipleTextOutputFormat<K extends WritableComparable, V extends Writable>
    extends MultipleOutputFormat<K, V> {

  private TextOutputFormat<K, V> theTextOutputFormat = null;

  @Override
  protected RecordWriter<K, V> getBaseRecordWriter(FileSystem fs, JobConf job,
      String name, Progressable arg3) throws IOException {
    if (theTextOutputFormat == null) {
      theTextOutputFormat = new TextOutputFormat<K, V>();
    }
    return theTextOutputFormat.getRecordWriter(fs, job, name, arg3);
  }

	@Override
	protected String generateFileNameForKeyValue(K key, V value, String name) {
		return name + "_" + value.toString();
	}
  
  
}


试一下wordcount这个例子，把WordCount.java的run函数加上一行
conf.setOutputFormat(org.apache.hadoop.mapred.lib.MultipleTextOutputFormat.class);
即
Java代码 复制代码
  1. public int run(String[] args) throws Exception {   
  2.     JobConf conf = new JobConf(getConf(), WordCount.class);   
  3.     conf.setJobName("wordcount");   
  4.     
  5.     // the keys are words (strings)   
  6.     conf.setOutputKeyClass(Text.class);   
  7.     // the values are counts (ints)   
  8.     conf.setOutputValueClass(IntWritable.class);   
  9.        
  10.     conf.setMapperClass(MapClass.class);           
  11.     conf.setCombinerClass(Reduce.class);   
  12.     conf.setReducerClass(Reduce.class);   
  13.        
  14.     conf.setOutputFormat(org.apache.hadoop.mapred.lib.MultipleTextOutputFormat.class);   
  15.        
  16.     List<String> other_args = new ArrayList<String>();   
  17.     for(int i=0; i < args.length; ++i) {   
  18.       try {   
  19.         if ("-m".equals(args[i])) {   
  20.           conf.setNumMapTasks(Integer.parseInt(args[++i]));   
  21.         } else if ("-r".equals(args[i])) {   
  22.           conf.setNumReduceTasks(Integer.parseInt(args[++i]));   
  23.         } else {   
  24.           other_args.add(args[i]);   
  25.         }   
  26.       } catch (NumberFormatException except) {   
  27.         System.out.println("ERROR: Integer expected instead of " + args[i]);   
  28.         return printUsage();   
  29.       } catch (ArrayIndexOutOfBoundsException except) {   
  30.         System.out.println("ERROR: Required parameter missing from " +   
  31.                            args[i-1]);   
  32.         return printUsage();   
  33.       }   
  34.     }   
  35.     // Make sure there are exactly 2 parameters left.   
  36.     if (other_args.size() != 2) {   
  37.       System.out.println("ERROR: Wrong number of parameters: " +   
  38.                          other_args.size() + " instead of 2.");   
  39.       return printUsage();   
  40.     }   
  41.     FileInputFormat.setInputPaths(conf, other_args.get(0));   
  42.     FileOutputFormat.setOutputPath(conf, new Path(other_args.get(1)));   
  43.            
  44.     JobClient.runJob(conf);   
  45.     return 0;   
  46.   }  
public int run(String[] args) throws Exception {
    JobConf conf = new JobConf(getConf(), WordCount.class);
    conf.setJobName("wordcount");
 
    // the keys are words (strings)
    conf.setOutputKeyClass(Text.class);
    // the values are counts (ints)
    conf.setOutputValueClass(IntWritable.class);
    
    conf.setMapperClass(MapClass.class);        
    conf.setCombinerClass(Reduce.class);
    conf.setReducerClass(Reduce.class);
    
    conf.setOutputFormat(org.apache.hadoop.mapred.lib.MultipleTextOutputFormat.class);
    
    List<String> other_args = new ArrayList<String>();
    for(int i=0; i < args.length; ++i) {
      try {
        if ("-m".equals(args[i])) {
          conf.setNumMapTasks(Integer.parseInt(args[++i]));
        } else if ("-r".equals(args[i])) {
          conf.setNumReduceTasks(Integer.parseInt(args[++i]));
        } else {
          other_args.add(args[i]);
        }
      } catch (NumberFormatException except) {
        System.out.println("ERROR: Integer expected instead of " + args[i]);
        return printUsage();
      } catch (ArrayIndexOutOfBoundsException except) {
        System.out.println("ERROR: Required parameter missing from " +
                           args[i-1]);
        return printUsage();
      }
    }
    // Make sure there are exactly 2 parameters left.
    if (other_args.size() != 2) {
      System.out.println("ERROR: Wrong number of parameters: " +
                         other_args.size() + " instead of 2.");
      return printUsage();
    }
    FileInputFormat.setInputPaths(conf, other_args.get(0));
    FileOutputFormat.setOutputPath(conf, new Path(other_args.get(1)));
        
    JobClient.runJob(conf);
    return 0;
  }


则使用
bin/hadoop jar build/hadoop-*-examples.jar wordcount conf  wordcount_output
可输出一个目录wordcount_output
Java代码 复制代码
  1. $ls wordcount_output/   
  2. part-00000_1    part-00000_13   part-00000_16  part-00000_214  part-00000_28  part-00000_38  part-00000_5   part-00000_8   
  3. part-00000_10   part-00000_14   part-00000_17  part-00000_22   part-00000_29  part-00000_4   part-00000_6   part-00000_9   
  4. part-00000_102  part-00000_141  part-00000_19  part-00000_23   part-00000_3   part-00000_42  part-00000_62   
  5. part-00000_11   part-00000_143  part-00000_2   part-00000_24   part-00000_31  part-00000_44  part-00000_63   
  6. part-00000_117  part-00000_15   part-00000_20  part-00000_25   part-00000_35  part-00000_46  part-00000_7   
  7. part-00000_12   part-00000_152  part-00000_21  part-00000_26   part-00000_36  part-00000_47  part-00000_70  
needle2
关注
专栏目录
[Hadoop]MapReduce多输出
SmartSi
12-06 3199
FileOutputFormat及其子类产生的文件放在输出目录下。每个reducer一个文件并且文件由分区号命名：part-r-00000，part-r-00001，等等。有时可能要对输出的文件名进行控制或让每个reducer输出多个文件。MapReduce为此提供了MultipleOutputFormat类。MultipleOutputFormat类可以将数据写到多个文件，这些文件的名称源于输出
Hadoop 多文件输出 MultipleOutputFormat
SmartSi
07-23 395
FileOutputFormat 及其子类产生的文件放在输出目录下。一个 reducer 就会输出一个文件，文件名称的输出格式为 name-r-nnnnn，例如 part-r-00000： name 是由程序设定的任意名字，默认为 partnnnnn 是一个指名块号的整数（从0开始）。块号保证从不同块（mapper 或者 reducer）写的输出在相同名字情况下不会冲突。 有时可能要对输出的文件名进行控制或让每个 reducer 输出多个文件。MapReduce 为此提供了 MultipleOutputF
hadoop多文件输出
司念
11-20 1402
hadoop多文件输出
hadoop划分为多个输出文件
龙崎的专栏
03-28 1231
现在我们见到的MapReduce作业的输出都是一组文件，那如果我想输出多组文件怎么办，比如说我想统计每个国家的专利情况，想以国家名作为文件名来输出。我们可以使用MultipleOutputFormat，它内部有一个方法generateFileNameForKeyValue，只要Override他，就可以根据自己的需要划分文件。他还有一些子类，像MultipleTextOutputFormat，Mul
MapReduce中控制输出文件命名 & 单个reducer写出多个输出文件——MutipleOutputs
攻城狮Kevin
05-23 1412
在MR job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径进行设置。 在输出目录中，框架自己会自动对输出文件进行组织和命名： 一般情况下，Hadoop中每个Reducer对一个相同key的value做归并后，产生一个输出文件，并且文件以part-r-00000，part-r-00001的方式命名； 但是如果需要人为控制Reducer端输出...
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
Hadoop MultipleOutputs输出到多个文件中的实现方法 Hadoop MultipleOutputs是Hadoop MapReduce框架中的一种输出机制，可以将输出写入到多个文件中。下面将详细介绍Hadoop MultipleOutputs输出到多个文件中的实现...
Hadoop MapReduce多输出详细介绍
09-30
在使用MapReduce框架时，经常需要处理输出数据，这时可能会遇到需要将输出分散到多个文件中的需求，这就是Hadoop MapReduce多输出功能的用途。Hadoop MapReduce多输出的功能主要由MultipleOutputFormat类及其相关类...
Hadoop reduce多个输出
Cody的笔记本
12-05 4261
转自：Hadoop in Action 在hadoop中，想要reduce支持多个输出，有两种实现方式。 第一种就是继承MultipleTextOutputFormat类，重写generateFileNameForKey方法。 public static class PartitionByCountryMTOF extends MultipleTextOutputFormat
让一个reducer产生多个输出文件.docx
10-30
让一个reducer产生多个输出文件.docx
MapReduce处理输出多文件格式(MultipleOutputs)
shujuboke的博客
08-15 2260
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的
mapreduce多文件输出
weixin_40626699的博客
02-26 1185
MultipleOutputs
控制MapReduce输出文件个数及格式
jinjiating的专栏
07-21 5901
控制MapReduce多文件输出 默认情况下MapReduce任务结束后一个reduce产生一个输出文件，文件名类似part-xxxxx, 有时为了方便后续对这些文件的处理，比如根据文件名import到不通的hive分区，我们需要控制reduce输出产生的文件名，让相同的reduce key写入同一个文件，此时可继承MultipleOutputFormat重载generateFileNameFo...
hadoop需要多少个reducer？
sunlylorn的专栏
01-18 1256
Reduce的数目建议是0.95或1.75乘以 (no. of nodes> * mapred.tasktracker.reduce.tasks.maximum)。 用0.95，所有reduce可以在maps一完成时就立刻启动，开始传输map的输出结果。用1.75，速度快的节点可以在完成第一轮reduce任务后，可以开始第二轮，这样可以得到比较好的负载均衡的效果。 增加reduce的数
Hadoop案例：Partitioner类控制文件输出个数
小M呀~之大数据系列
12-01 794
按需求设计Partition类，控制文件的输出个数
python中reduce函数的用法
chidao4603的博客
09-11 288
reduce 函数的作用是将序列的前两个元素与给定的函数联合使用，并将它们的返回值和下一个元素继续联合使用，直到整个序列处理完毕，并最终得到一个结果。在2.7版本之前，是内建函数，可以直接用，但新版本中，它变成了functools模块中的一个函数，所以，在使用时，首先需要导入，即加入impor...
Hadoop
最新发布
Casual_Lei的博客
09-11 1145
Hadoop 是处理大规模数据的强大工具，它通过 HDFS 提供分布式存储，通过 MapReduce 实现分布式计算，通过 YARN 管理资源，构成了一个高度可扩展的分布式系统。尽管 Hadoop 由于其批处理特点不适用于所有场景，但它在大数据领域依然具有不可替代的重要地位，尤其是在数据湖和批处理任务中。
自定义Hadoop OutputFormat：单Reducer生成多输出文件
"这篇文档主要讨论了如何在Hadoop环境中让一个Reducer生成多个输出文件，以及与之相关的Hadoop InputFormats和OutputFormats概念。" 在Hadoop生态系统中，Reducer通常负责聚合和处理Mapper阶段产生的中间数据，最终...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值