Hadoop Streaming命令

hadoop 专栏收录该内容
3 篇文章 0 订阅

1 Streaming命令

使用下面的命令运行Streaming MapReduce程序:

$HADOOP_HOME/bin/hadoop streaming args

其中argsstreaming参数,下面是参数列表:

-input <path>

输入数据路径

-output <path>

输出数据路径

-mapper <cmd|JavaClassName>

mapper可执行程序或Java

-reducer <cmd|JavaClassName>

reducer可执行程序或Java

-file <file> Optional

分发本地文件

-cacheFile <file> Optional

分发HDFS文件

-cacheArchive <file> Optional

分发HDFS压缩文件

-numReduceTasks <num> Optional

reduce任务个数

-jobconf | -D NAME=VALUE Optional

作业配置参数

-combiner <JavaClassName> Optional

Combiner Java

-partitioner <JavaClassName> Optional

Partitioner Java

-inputformat <JavaClassName> Optional

InputFormat Java

-outputformat <JavaClassName> Optional

OutputFormat Java

-inputreader <spec> Optional

InputReader配置

-cmdenv <n>=<v> Optional

传给mapperreducer的环境变量

-mapdebug <path> Optional

mapper失败时运行的debug程序

-reducedebug <path> Optional

reducer失败时运行的debug程序

-verbose Optional

详细输出模式

2 命令参数详解

下面是对各个参数的详细说明:

-input <path>:指定作业输入,path可以是文件或者目录,可以使用*通配符,-input选项可以使用多次指定多个文件或目录作为输入。

-output <path>:指定作业输出目录,path必须不存在,而且执行作业的用户必须有创建该目录的权限,-output只能使用一次。

-mapper:指定mapper可执行程序或Java类,必须指定且唯一。

-reducer:指定reducer可执行程序或Java类,必须指定且唯一。

-file, -cacheFile, -cacheArchive:分别用于向计算节点分发本地文件、HDFS文件和HDFS压缩文件

-numReduceTasks:指定reducer的个数,如果设置-numReduceTasks 0或者-reducer NONE则没有reducer程序,mapper的输出直接作为整个作业的输出。

-jobconf | -D NAME=VALUE:指定作业参数,NAME是参数名,VALUE是参数值,可以指定的参数参考hadoop-default.xml。特别建议用-jobconf mapred.job.name=’My Job Name’设置作业名,使用-jobconf mapred.job.priority=VERY_HIGH | HIGH | NORMAL | LOW | VERY_LOW设置作业优先级,使用-jobconf mapred.job.map.capacity=M设置同时最多运行Mmap任务,使用-jobconf mapred.job.reduce.capacity=N设置同时最多运行Nreduce任务。常见的作业配置参数如下表所示:

mapred.job.name

作业名

mapred.job.priority

作业优先级

mapred.job.map.capacity

最多同时运行map任务数

mapred.job.reduce.capacity

最多同时运行reduce任务数

hadoop.job.ugi

作业执行权限

mapred.map.tasks

map任务个数

mapred.reduce.tasks

reduce任务个数

mapred.job.groups

作业可运行的计算节点分组

mapred.task.timeout

任务没有响应(输入输出)的最大时间

mapred.compress.map.output

map的输出是否压缩

mapred.map.output.compression.codec

map的输出压缩方式

mapred.output.compress

reduce的输出是否压缩

mapred.output.compression.codec

reduce的输出压缩方式

stream.map.output.field.separator

map输出分隔符

-combiner:指定combiner Java类,对应的Java类文件打包成jar文件后用-file分发。

-partitioner:指定partitioner Java类,Streaming提供了一些实用的partitioner实现

-inputformat, -outputformat:指定inputformatoutputformat Java类,用于读取输入数据和写入输出数据,分别要实现InputFormatOutputFormat接口。如果不指定,默认使用TextInputFormatTextOutputFormat

-cmdenv NAME=VALUE:给mapperreducer程序传递额外的环境变量,NAME是变量名,VALUE是变量值。

-mapdebug, -reducedebug:分别指定mapperreducer程序失败时运行的debug程序。

-verbose:指定输出详细信息,例如分发哪些文件,实际作业配置参数值等,可以用于调试。

注意事项

1) mapperreducer程序尽量输出一些重要的错误日志到标准错误,不要写本地文件,因为程序执行完以后本地文件就会被删除,但是输出到标准错误的日志会被保存,有利于出现问题定位程序问题。但是量不要太大,否则会影响性能。

2) 注意mapperreducer程序的返回值,Streaming框架默认认为程序返回值为0时用户程序正常,非0时用户程序异常从而导致任务失败,多次任务失败导致作业失败。

3) mapperreducer程序在遇到从标准输入读到EOF,读标准输入异常,pipe broken异常,写标准输出异常,写标准错误异常时,应该主动退出。

4) mapperreducer程序可以在当前目录下创建临时文件进行读写,但是不允许向它的上层目录,或者在cacheArchive解压后的目录中创建或写文件。

5) zip压缩包中不能有中文字符的文件名,否则Java解压会出现异常。

如果使用新版本命令格式,命令行中参数要先指定genericOptions-D,然后指定commandOptions-mapper

 3、mapred尝试任务失败次数控制及map任务失败率控制
-D mapred.map.max.attempts="3" \                                                                                  
-D mapred.reduce.max.attempts="3" \                                                                               
-D mapred.max.map.failures.percent="1" \  设置map任务失败率容忍率


  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值