关于Hadoop的GenericOptionsParser…

原创 2016年08月29日 12:51:18
由于集群为hadoop配置了执行队列,所以如果我们程序写成下面这样的话:
          Configuration conf = new Configuration();
     String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
      ...........
     FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
     FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
我们在运行mapreduce的时候命令上要加 -D mapreduce.job.queuename参数
hadoop jar WordCount.jar WordCount.WordCount -Dmapreduce.job.queuename=root.default xrli/input xrli/output

如果实在想把这些参数都写到代码里面的话,就照着下面写:
 Configuration conf = new Configuration();  //从配置文件读取参数  
 String[] ioArgs=new String[]{"-Dmapreduce.job.queuename =root.default","xrli/STJoin_in","xrli/STJoin_out"};

    String[] otherArgs = new GenericOptionsParser(conf, ioArgs).getRemainingArgs();
 ....................
    // 设置输入和输出目录
    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

这样运行的时候只要执行以下命令就行了。
hadoop jar WordCount.jar WordCount.WordCount

这里分析以下Hadoop的GenericOptionsParser类
它能够解析命令行参数的基本类。它能够辨别一些标准的命令行参数。
比如这里的-D mapreduce.job.queuename  就被它识别了,并且配置到了参数文件中去,而函数getRemainingArgs()就是获取了剩余的两个参数"xrli/STJoin_in","xrli/STJoin_out",并且将它们组合为数组otherArgs。

它能够识别的参数包括: fs jt libjars files archives D tokenCacheFile


http://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.htmlhttp://www.cnblogs.com/caoyuanzhanlang/archive/2013/02/21/2920934.html 

hadoop初学之--------GenericOptionsParser解析器

GenericOptionsParser是hadoop框架中解析命令行参数的基本类。它能够辨别一些标准的命令行参数,能够使应用程序轻易地指定namenode,jobtracker,以及其他额外的配置资...
  • xin15200793067
  • xin15200793067
  • 2013年10月11日 21:30
  • 8511

Hadoop学习笔记(三)一个实例

Hadoop学习笔记(三)一个实例 1.辅助类GenericOptionsParser,Tool和ToolRunner 上一章使用了GenericOptionsParser这个类,它用来解释常用的...
  • fover717
  • fover717
  • 2012年10月17日 00:37
  • 5144

map获取输入文件名称和GenericOptionsParser使用

该文章中实现业务需求的方法不可取(其实可以使用hadoop提供的多输入来实现),但是该例子去能很好的展现在map函数中怎么拿到输入文件的名称: 原文地址:http://datamachine.ite...
  • hit_hlj_sgy
  • hit_hlj_sgy
  • 2014年03月20日 18:37
  • 1776

mapreduce 辅助类GenericOptionsParser,Tool和ToolRunner

辅助类GenericOptionsParser,Tool和ToolRunner 为了简化命令行方式运行作业,Hadoop自带了一些辅助类。GenericOptionsParser是一个类,用来解释常...
  • BehandTheTime
  • BehandTheTime
  • 2017年01月02日 18:29
  • 687

mapreduce程序编写(大数据学习跟进)

折腾了半天。终于编写成功了第一个自己的mapreduce程序,并通过打jar包的方式运行起来了。 运行环境:windows 64bit      eclipse 64bit     jdk6.0...
  • myhirra
  • myhirra
  • 2014年03月06日 15:40
  • 5258

Hadoop集群(第9期)_MapReduce初级案例

本文转载自http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 1、数据去重    "数据去重"主要是为了掌握...
  • chivalrousli
  • chivalrousli
  • 2014年12月24日 14:14
  • 1140

hadoop使用第三方jar包

当我们实现了一个Hadoop MapReduce Job以后,而这个Job可能又依赖很多外部的jar文件,在Hadoop集群上运行时,有时会出现找不到具体Class的异常。出现这种问题,基本上就是在H...
  • anhuiliyu
  • anhuiliyu
  • 2015年10月28日 14:40
  • 3320

Hadoop 使用常见问题

最近一个月刚开始接触Hadoop,这两天在搞排序的时候遇到了点问题,终于解决了,所以想着可以将其记录下来,防止以后忘记,还可以为我国的社会主义建设做贡献。本篇文章的内容主要就是在Hadoop使用中遇到...
  • l1258914199
  • l1258914199
  • 2015年04月21日 20:28
  • 1314

关于Hadoop的GenericOptionsParser…

由于集群为hadoop配置了执行队列,所以如果我们程序写成下面这样的话:           Configuration conf = new Configuration();      Strin...
  • leexurui
  • leexurui
  • 2016年08月29日 12:51
  • 1663

hadoop Configured Configrable Configuration Tool 源码详解

在用java写MR的时候,定义类的第一行一般都是如下方式:public class XXX extends Configured implements Toolrun方法的一个实例如下:public ...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年05月19日 16:00
  • 801
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于Hadoop的GenericOptionsParser…
举报原因:
原因补充:

(最多只允许输入30个字)