hadoop stream 参数详解

最新推荐文章于 2024-03-21 15:56:56 发布
最新推荐文章于 2024-03-21 15:56:56 发布
阅读量2.8w 收藏 11
点赞数
分类专栏： hadoop 文章标签： hadoop stream mapreduce jar 任务 cache

原文地址：Hadoop streaming 作者：tivoli_chen

1 hadoop streaming

Hadoop streaming是和hadoop一起发布的实用程序。它允许用户创建和执行使用任何程序或者脚本编写的map或者reduce的mapreducejobs。譬如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper /bin/cat

-reducer /bin/wc


2hadoop straming工作方式

在上面的例子中，mapper和reducer都是可执行程序，mapper的输入是读取stdin，reducer的输出是输出到stdout。Hadoopstreaming可以创建mapreduce任务，提交任务到正确的cluster，监控任务的执行过程直到任务完成。

当mapper定义为可执行程序时，每个mapper task初始化都会独立启动该进程。Mappertask运行时，将输入的文件转换成行来处理，然后传入到stdin；同时，将输出处理为key-value，作为mapper的输出；默认情况下，每行数据第一个tab前面的数据是key，剩下的作为value。如果某行数据中没有tab，则将整行数据作为key，value值为null。然而，这些也可以自定义处理。

当reducer定义为可执行程序时，每个reducer task初始化都会独立启动该进程。Reducertask运行时，将输入的key-value数据转换成行数据，作为reducer的输入。同时，reducer收集行数据，将行数据转换成key-value形式输出。默认情况下，每行数据第一个tab前面的数据是key，剩下的作为value。然而，这些也可以自定义处理。

这是mapreduce框架和hadoop streaming之间的基本通信协议。

用户也可以定义java类作为mapper和reducer，例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper org.apache.hadoop.mapred.lib.IdentityMapper

-reducer /bin/wc

用户可以定义stream.non.zero.exit.is.failure的值为true或者false来表示streaming任务是成功还是失败退出。

3Job提交设置file选项

用户可以定义任何程序作为mapper或者reducer。这些可执行程序不需要预先存放在集群的机器上。如果不能，可以通过-file选项来设置程序，提交给job。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper myPythonScript.py

-reducer /bin/wc

-file myPythonScript.py

该例子将python可执行程序作为mapper。选项-filemyPythonScript.py导致python脚本作为job提交的一部分被传送到集群的机器上。除了可执行程序文件，用户也可以打包一些其他的可能被mapper或者reducer使用的文件。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper myPythonScript.py

-reducer /bin/wc

-file myPythonScript.py

-file myDictionary.txt

4streaming选项和用法

4.1只有mapper的job

有时候，用户仅仅需要通过mapper函数对输入数据进行处理。要做到这些，可以设置mapred.reduce.tasks=0。这样，mapreduce框架就不会创建reducetask。并且，mapper的输出就是job的最终输出。为了支持向下兼容，hadoop streaming也支持选项-reduceNONE，等价于-D mapred.reduce.tasks=0。

4.2定义jobs的其他选项

作为一个正常的mapreduce job，用户可以定义hadoop streaming job的其他选项，

-inputformat JavaClassName

-outputformat JavaClassName

-partitioner JavaClassName

-combiner JavaClassName

设置input format的类应该返回text类的key-value键值对。如果没有设置inputformat类，默认的是TextInputFormat。TextInputFormat返回LongWritable类的keys，它并不是输入数据的一部分，keys可能被舍弃；只有values被传送到streamingmapper中。设置output format的类应该是text类的key-value键值对。如果没有定义outputformat类，默认的是TextOutputFormat。

4.3 hadoop streaming中的大文件和文件档案

-files 和–archives选项允许用户设置task的文件和文件档案。参数是已经在hdfs上的文件和文件档案的URI。这些文件和文件档案在job中缓存。用户可以从fs.default.name配置变量中获取host和fs_port的值。例如，-files选项，

-files hdfs://host:fs_port/user/testfile.txt#testlink

在这个例子中，url中#后面的部分是当前工作任务路径的符号链接。因此，这些任务拥有指向本地文件的符号链接。多个输入可以作如下设置，

-files hdfs://host:fs_port/user/testfile1.txt#testlink1

-files hdfs://host:fs_port/user/testfile2.txt#testlink2

-archives选项允许用户复制jar包到当前任务的工作路径，并且自动解压jar包。例如，

-archives hdfs://host:fs_port/user/testfile.jar#testlink3

在这个例子中，符号链接testlink3创建在当前任务的工作路径中。符号链接指向存放解压jar包的文件路径。

-archives选项的另外一些例子，input.txt文件有两行数据，定义两个文件的名称，testlink/cache.txt和testlink/cache2.txt。testlink指向文件目录的符号链接，拥有两个文件cache.txt 和cache2.txt。

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input"/user/me/samples/cachefile/input.txt"

-mapper "xargs cat"

-reducer "cat"

-output"/user/me/samples/cachefile/out"

-archives

'hdfs://hadoop-nn1.example.com/user/me/samples/cachefile/cachedir.jar#testlink'

-D mapred.map.tasks=1

-D mapred.reduce.tasks=1

-Dmapred.job.name="Experiment"

$ ls test_jar/

cache.txt cache2.txt

$ jar cvf cachedir.jar -C test_jar/ .

added manifest

adding: cache.txt(in = 30) (out= 29)(deflated 3%)

adding: cache2.txt(in = 37) (out= 35)(deflated 5%)

$ hadoop dfs -put cachedir.jar samples/cachefile

$ hadoop dfs -cat /user/me/samples/cachefile/input.txt

testlink/cache.txt

testlink/cache2.txt

$ cat test_jar/cache.txt

This is just the cache string

$ cat test_jar/cache2.txt

This is just the second cache string

$ hadoop dfs -ls /user/me/samples/cachefile/out

Found 1 items

/user/me/samples/cachefile/out/part-00000 <r3> 69

$ hadoop dfs -cat /user/me/samples/cachefile/out/part-00000

This is just the cache string

This is just the second cache string


4.4为jobs定义其他的配置变量

用户可以使用-D<n>=<v>定义其他配置变量。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper org.apache.hadoop.mapred.lib.IdentityMapper

-reducer /bin/wc

-D mapred.reduce.tasks=2

选项-D mapred.reduce.tasks=2定义job的reducer为2。


4.5其他支持的选项

Streaming支持hadoop常用命令行选项。支持的参数主要有下面这些：

bin/hadoop command [genericOptions] [commandOptions]

改变本地临时文件夹

-D dfs.data.dir=/tmp

定义其他本地临时文件夹

-D mapred.local.dir=/tmp/local

-D mapred.system.dir=/tmp/system

-D mapred.temp.dir=/tmp/temp

在streaming命令中设置环境变量

-cmdenv EXAMPLE_DIR=/home/example/dictionaries/


5更多的用法实例

5.1自定义将行数据划分为key-value键值对

当mapreduce框架从mapper的stdout中读取每行数据时，它将每行数据划分为key-value键值对。默认情况下，每行数据的第一个tab前的数据是key，剩下的是value（除去tab）。

然而，用户可以自定义该默认设置。用户可以自定义分隔符（除了默认的tab），并且用户也可以定义第n个字符作为kae-value的分隔符。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper org.apache.hadoop.mapred.lib.IdentityMapper

-reducer org.apache.hadoop.mapred.lib.IdentityReducer

-D stream.map.output.field.separator=.

-D stream.num.map.output.key.fields=4

选项-D stream.map.output.field.separator=.定义mapoutput字段的分隔符为.。第四个.前面的是key，后面的是value。如果该行.的个数少于四个，则整行数据就是key，value是空。

同样，也可以设置选项-Dstream.reduce.output.field.separator=SEP和-Dstream.num.reduce.output.fields=NUM来设置reduce输出的key-value。

5.2有用的Partitioner类

Hadoop拥有类KeyFieldBasedPartitioner，对很多应用程序有用。该类在某些key字段的基础上允许mapreduce框架划分map的输出。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper org.apache.hadoop.mapred.lib.IdentityMapper

-reducer org.apache.hadoop.mapred.lib.IdentityReducer

-partitionerorg.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

-D stream.map.output.field.separator=.

-D stream.num.map.output.key.fields=4

-D map.output.key.field.separator=.

-D mapred.text.key.partitioner.options=-k1,2 
附注：-k1,2 指定对key进行划分后第1 2个域进行划分（上述解释没有找到相关文档，也不属于原文）
-D mapred.reduce.tasks=12

例如，

Output输出（keys）

11.12.1.2

11.14.2.3

11.11.4.1

11.12.1.1

11.14.2.2

划分到3个reducer（前面2个字段作为partition的keys）

11.11.4.1

-----------

11.12.1.2

11.12.1.1

-----------

11.14.2.3

11.14.2.2

Reducer的每个划分内排序（4个字段同时用于排序）

11.11.4.1

-----------

11.12.1.1

11.12.1.2

-----------

11.14.2.2

11.14.2.3


5.3Comparator类

Hadoop拥有类KeyFieldBasedComparator，在很多程序中得到应用。例如，

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapper org.apache.hadoop.mapred.lib.IdentityMapper

-reducer org.apache.hadoop.mapred.lib.IdentityReducer

-D

mapred.output.key.comparator.class=org.apache.hadoop.mapred.lib.KeyFieldBasedComparator

-D stream.map.output.field.separator=.

-D stream.num.map.output.key.fields=4

-D map.output.key.field.separator=.

-D mapred.text.key.comparator.options=-k2,2nr
附注：-k2,2nr 中-k2,2指定key分割后的第2个域进行排序，n 指定使用数字排序，r指定排序结果最后要进行反转 
-D mapred.reduce.tasks=12

Map输出（keys）

11.12.1.2

11.14.2.3

11.11.4.1

11.12.1.1

11.14.2.2

Reducer的输出（使用第二个字段进行排序）

11.14.2.3

11.14.2.2

11.12.1.2

11.12.1.1

11.11.4.1


5.4Hadoop Aggregate包（-reduce aggregate选项）

-D mapred.reduce.tasks=12

Python文件AggregatorForKeyCount.py

#!/usr/bin/python

import sys;

def generateLongCountToken(id):
		return "LongValueSum:" + id +"t" +"1"

def main(argv):
		line = sys.stdin.readline();
		try:
				while line:
						line = line[:-1];
						fields = line.split("t");
						print generateLongCountToken(fields[0]);
						line = sys.stdin.readline();
		except "end of file":
				return None

if __name__ == "__main__":
		main(sys.argv)

5.5字段选择

Hadoop有类org.apache.hadoop.mapred.lib.FieldSelectionMapReduce。该类允许用户像unix工具中的cut命令来处理文本数据。该类中的Map函数将每个输入的键值对作为字段列表，用户可以自定义字段分隔符。用户可以选择字段列表作为map的输出的key，其他的字段列表作为map的输出的value。Reduce函数与此类似。

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar

-input myInputDirs

-output myOutputDir

-mapperorg.apache.hadoop.mapred.lib.FieldSelectionMapReduce

-reducerorg.apache.hadoop.mapred.lib.FieldSelectionMapReduce

-partitionerorg.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

-D map.output.key.field.separa=.

-D mapred.text.key.partitioner.options=-k1,2

-D mapred.data.field.separator=.

-D map.output.key.value.fields.spec=6,5,1-3:0-

-D reduce.output.key.value.fields.spec=0-2:5-

-D mapred.reduce.tasks=12

5.6 mapred尝试任务失败次数控制及map任务失败率控制

-D mapred.map.max.attempts="3" \                                                                                  
-D mapred.reduce.max.attempts="3" \                                                                               
-D mapred.max.map.failures.percent="1" \  设置map任务失败率容忍率

5.7 mapred限制java读取数据行的最大长度（防止mapred程序执行时进度停滞且报heatbeat错误）： 
-D  mapred.linerecordreader.maxlength = 409600



azhao_dn
关注
专栏目录
Hadoop streaming详细介绍
01-10
Hadoop streaming Hadoop为MapReduce提供了不同的API，可以方便我们使用不同的编程语言来使用MapReduce框架，而不是只局限于Java。这里要介绍的就是Hadoop streaming API。Hadoop streaming 使用Unix的standard streams作为我们mapreduce程序和MapReduce框架之间的接口。所以你可以用任何语言来编写MapReduce程序，只要该语言可以往standard input/output上进行读写。 streamming是天然适用于文字处理的（text processing），当然，也仅适用纯文本的
hadoop streaming参数配置
loveblair1990的博客
12-13 9382
Streaming简介Streamining框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大。Streamining的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java 接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据
Hadoop streaming详解
热门推荐
点火三周的专栏
03-14 1万+
Hadoop streamingHadoop为MapReduce提供了不同的API，可以方便我们使用不同的编程语言来使用MapReduce框架，而不是只局限于Java。这里要介绍的就是Hadoop streaming API。Hadoop streaming 使用Unix的standard streams作为我们mapreduce程序和MapReduce框架之间的接口。所以你可以用任何语言来编写MR
Hadoop Streaming介绍
迷路剑客个人博客
09-27 5535
Hadoop Streaming介绍 0x01 基础概念 1.1 简介 用户可以使用Hadoop Streaming来用任意语言（如python）来编写、运行MR作业，下面是一个官方示例： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myO...
Hadoop排序工具用法小结
baidu_zhongce的博客
10-18 2388
Hadoop用于对key的排序和分桶的设置选项比较多和复杂，目前在公司内主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用户广泛使用。基本概念Partition：分桶过程，用户输出的key经过partition分发到不同的reduce里，因而partitioner就是分桶器，一般用平台默认的hash分桶也可以自己指定。 Key：是需要
Eclipse-Hadoop2.7.5配套软件及插件
09-20
### Eclipse-Hadoop2.7.5配套软件及插件知识点详解 #### 一、概述 在大数据处理领域，Hadoop凭借其强大的分布式处理能力而受到广泛欢迎。为了更好地利用Hadoop进行开发工作，Eclipse IDE提供了Hadoop插件，使得...
hadoop代码
10-19
在大数据处理领域，Hadoop和HBase是两个非常重要...以上就是关于"Hadoop代码"资源的详细解析，这个资源提供了从基础API使用到高级优化策略的全面学习材料，对于想要深入理解并应用Hadoop和HBase的开发者来说极具价值。
Hadoop知识.pdf
11-26
3. Hadoop 常见参数控制与调优策略： - `dfs.namenode.support.allow.format`：禁止 NameNode 格式化，防止意外数据丢失。 - `dfs.heartbeat.interval`：调整心跳间隔以适应不同网络环境。 - `dfs.blocksize`：...
Streamsets Data Collector管道详细配置文档（组件、事件、函数表达式、记录头属性）
03-31
### Streamsets Data ...正确配置执行模式、交付保证、速率限制等参数对于确保数据管道的稳定性和可靠性至关重要。此外，合理利用组件、事件以及函数表达式等功能，可以显著提高数据处理效率，满足复杂场景下的需求。
Hadoop Streaming使用简介
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
05-24 938
它是hadoop的一个工具，用来创建和运行一类特殊的map/reduce作业。所谓的特殊的map/reduce作业可以是可执行文件或脚本本件（python、PHP、c等）。Streaming使用“标准输入”和“标准输出”与我们编写的Map和Reduce进行数据的交换。由此可知，任何能够使用“标准输入”和“标准输出”的编程语言都可以用来编写MapReduce程序
大数据架构师，带你深入理解HadoopStreaming原理及实践，快来学
最新发布
2401_83384536的博客
03-21 818
Hadoop Streaming提供了一个便于进行MapReduce编程的工具包，使用它可以基于一些可执行命令、脚本语言或其他编程语言来实现Mapper和 Reducer，从而充分利用Hadoop并行计算框架的优势和能力，来处理大数据。
HadoopStreaming常用参数简单说明
zhangxiaohui4445的博客
03-11 575
1 、基本开发参数 -input"${INPUTS}" \ 输入路径，指的是hdfs上的路径 -output"${OUTPUTS}" \ 输出路径，指的也是hdfs上的路径 -mapper"python map.py" \ 执行map过程的代码的执行参数 -reducer"python red.py" \ 执行reduce过程的代码的执...
hadoop配置 启动
PJF1501105594的博客
04-15 250
配置文件均在hadoop-x.x.x/etc/hadoop子目录下 配置核心文件 编辑core-site.xml文件 <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> //以下配置可以不配 <name>hadoop.tmp.dir</name> &lt
Hadoop Streaming详解
端木胥的博客
09-22 1147
刚来公司的时候就发现大家都在使用Hadoop Streaming 来执行任务，当时还在想名字里有Streaming，Hadoop也拿来做实时计算工具了吗？后来发现原来只是我学得太少，对编程工具的理解太片面了。 那么接下来就来看看什么是Hadoop Streaming，为什么要使用Hadoop Streaming、Hadoop Streaming的原理以及怎么使用Hadoop Streaming。 ...
Hadoop Streaming自带参数解析
jlulxg的博客
03-13 1561
排序、hash分组、压缩格式、内存设定 -Option： -input：输入文件路径 -output：输出文件路径 -mapper：用户自己写的mapper程序，可以是可执行文件或者脚本 -reducer：用户自己写的reducer程序，可以是可执行文件或者脚本 -file：打包文件到提交的作业中，可以是mapper或者reducer要用的输入文件，如配置文件，字典等，将客户端本地文件打...
hadoop 简单入门与streaming常用配置参数说明
coder_oyang的博客
10-11 1163
1. Hadoop包含两核心部分 hdfs Hadoop distribute file system -- hadoop分布式文件系统，存储数据 Namenode、Datanode 常用命令形式：hadoop fs -ls  /  hadoop fs -mkdir MapReduce 分而治之；map:实现分治；reduce：实现合并 解决数据可分割的计算问题 编程接...
Hadoop Streaming
一碗米线
02-25 1152
Hadoop Streaming Hadoop streaming是Hadoop的一个工具， 它帮助用户创建和运行一类特殊的map/reduce作业， 这些特殊的map/reduce作业是由一些可执行文件或脚本文件充当mapper或者reducer。例如： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
MapReduce开发之Hadoop Streaming
weixin_50722238的博客
12-03 275
MapReduce开发之Hadoop Streaming
Hadoop Streaming高级技巧：定制输入输出与参数传递
这篇进阶文章主要关注的是如何通过 Hadoop Streaming 实现更复杂的任务，包括自定义输入输出格式、传递参数、加载词典以及处理二进制数据。 1. 自定义 MapReduce 作业的输入输出格式 在早期版本的 Hadoop ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值