Hadoop Streaming 实战: 多路输出

streaming把reduce的输出作为一个任务的最终输出,输出文件形如: 
      part-00000、part-00001…… 
      文件个数为reduce任务个数 

但是,有的时候,我们有多路输出的需求,eg:一部分数据作为下一个mapreduce任务的输入,另一部分数据直接供下游任务抓取,此时,我们就需要使用reduce的多路输出。

在hadoop-v2-u7中,streaming引入了reduce多路输出的功能,允许一个reduce输出到多个文件中,规则如下: 
      使用-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleSequenceFileOutputFormat指定使用带多输出的OutputFormat(前者对应于文本输入,后者于二进制输入) 
      reduce输出文件可以为part-xxxxx-X文件,其中X是A-Z的字母之一,使用方式是在输出key,value对的时候,在value的后面追加"#X"两个字节后缀,后缀不同的key,value输出到不同的part-xxxxx-X文件,value的后缀"#X"自动删除。  
      此时,需要特别注意的是,由于value之后#X才会识别为输出文件标示,而reduce的输出默认以"\t"分割key和value,因此,如果reduce的输出是一行中间没有"/t",我们就需要在#X后缀前面添加"\t"使它变成value的一部分而不是key的一部分,也可以通过“-D stream.reduce.output.field.separator”指定reduce输出分割符的类型。 

示例: 
对输入的数据做处理,以字符'1’开头的输入part-xxxxx-A文件中,以字符'2’开头的输入part-xxxxx-B文件中,其余输入part-xxxxx-C文件中


1. mapper程序mapper.sh

  1. #!/bin/sh  
  2. while read line  
  3.   do          
  4.   echo "$line"  
  5.   done   

2. reducer程序reducer.sh

  1. #!/bin/sh  
  2. while read line  
  3.   do          
  4.   tag=`expr substr $line 1 1`          
  5.   if [ $tag == "1" ]          
  6.   then                  
  7.   echo -e "$line\t#A"          
  8.   elif [ $tag == "2" ]          
  9.   then                  
  10.   echo -e "$line\t#B"          
  11.   else                  
  12.   echo -e "$line\t#C"          
  13.   fi  
  14.   done  

3. 输入数据:test.txt

1,2,1,1,12,2,2,1,13,3,1,1,11,3,2,1,12,3,3,1,13,2,3,1,11,3,1,1,12,3,2,1,13,3,3,1,14,3,3,1,1


4. 输入文本放入hdfs,集群运行:

$ hadoop fs -put test.txt /usr/test.txt 
$ hadoop streaming -input /usr test.txt / 
    -output /usr/test_1234 / 
    -mapper ./mapper.sh -reducer ./reducer.sh / 
    -file mapper.sh -file reducer.sh / 
    -inputformat org.apache.hadoop.mapred.TextInputFormat / 
    -outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat / 

    -jobconf -jobconf mapred.reduce.tasks=3 / 
    -jobconf mapre.job.name="mul_output_test"

查看输出:

$ hadoop fs -ls /usr/test_1234 
Found 7 items 
-rw-r--r--   3 test test         11 2011-05-20 09:56 /usr/test_1234/part-00000-C 
-rw-r--r--   3 test test         11 2011-05-20 09:56 /usr/test_1234/part-00001-A 
-rw-r--r--   3 test test         11 2011-05-20 09:56 /usr/test_1234/part-00001-B 
-rw-r--r--   3 test test         11 2011-05-20 09:56 /usr/test_1234/part-00001-C 
-rw-r--r--   3 test test         22 2011-05-20 09:56 /usr/test_1234/part-00002-A 
-rw-r--r--   3 test test         22 2011-05-20 09:56 /usr/test_1234/part-00002-B 
-rw-r--r--   3 test test         22 2011-05-20 09:56 /usr/test_1234/part-00002-C

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值