hadoop streaming 输出数据分割与二次排序

输出数据分割

默认情况下Streaming框架将map输出的每一行第一个”\t”之前的部分作为key,之后的部分作为value,key\tvalue又作为reduce的输入。可以用-D stream.map.output.field.separator改变map输出中key和value的分隔符,用-D stream.num.map.output.key.fields设置分隔符的位置,该位置之前的部分作为key,之后的部分作为value。如下所示,其中-D stream.map. output.field.separator=:指定使用冒号”:”将map输出的一行分隔为key/value,-D stream.num.map.output.key.fields=2指定在第二个冒号处进行分隔,也就是第二个冒号之前的作为key,之后的作为value。如果没有冒号或冒号少于两个,则key为整行,value为空。 

   $HADOOP_HOME/bin/hadoop streaming \

       -D stream.map.output.field.separator=: \

       -D stream.num.map.output.key.fields=2 \

-input /user/test/input -output /user/test/output \

-mapper mymapper.sh -reducer myreducer.sh \

-file /home/work/mymapper.sh \

-file /home/work/myreducer.sh \

-jobconf mapred.job.name=”output-sep-demo”

与map类似,对于reduce的输出,同样也可以用-D stream.reduce.output.field.separator-D stream.num.reduce.output.key.fields定制key/value分隔方式。

二次排序

转自:

我们知道,一个典型的Map-Reduce过程包 括:Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner,通过配置相应的参数就可以使用。通过 KeyFieldBasedPartitioner可以方便地实现二次排序。 
使用方法: 
      -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 
一般配合: 
      -D map.output.key.field.separator及-D num.key.fields.for.partition使用。 
map.output.key.field.separator指定key内部的分隔符 
      num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key

示例: 
1. 编写map程序mapper.sh;reduce程序reducer.sh; 测试数据test.txt

mapper.sh:  

#!/bin/sh  cat    

reducer.sh:  

#!/bin/sh  sort    

test.txt内容:  

1,2,1,1,1  

1,2,2,1,1  

1,3,1,1,1  

1,3,2,1,1  

1,3,3,1,1  

1,2,3,1,1  

1,3,1,1,1  

1,3,2,1,1  

1,3,3,1,1  

2. 测试数据test.txt放入hdfs,运行map-reduce程序

$ hadoop streaming /    

-D stream.map.output.field.separator=, /    

-D stream.num.map.output.key.fields=4 /    

-D map.output.key.field.separator=, /    

-D num.key.fields.for.partition=2 /    

-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /    

-input /app/test/test.txt  /  

-output /app/test/test_result / 
-mapper ./mapper.sh  /    

-reducer ./reducer.sh /    

-file mapper.sh /    

-file reducer.sh /    

-jobconf mapre.job.name="sep_test"    

$ hadoop fs –cat /app/test/test_result/part-00003      

1,2,1,1     1      

1,2,2,1     1      

1,2,3,1     1    

$ hadoop fs –cat /app/test/test_result/part-00004      

1,3,1,1     1      

1,3,1,1     1      

1,3,2,1     1      

1,3,2,1     1      

1,3,3,1     1      

1,3,3,1     1  

通过这种方式,就做到前4个字段是key,但是通过前两个字段进行partition的目的
注意:
-D map.output.key.field.separator=, /  

这个分隔符使用TAB键貌似不管用

参数对比

hadoop中的map-reduce是处理<key,value>这样的键值对,故指定<key,value>的分割符等参数可以分成三类:
map输出时分割符
分桶时的分隔符
reduce输出时的分割符
下面分别叙述:
1. map输出时分割符
参数:
stream.map.output.field.separator
作用:
指定map输出时的分割符
stream.num.map.output.key.fields
指定输出按照分隔符切割后,key所占有的列数
举例:
input数据:
2,2,c,c,c,c
参数配置:
-mapper "cat" # map 为分布式的cat命令
-reducer ""  #reduce为空 /
-jobconf stream.map.output.field.separator=','  /
-jobconf stream.num.map.output.key.fields=2 /
即按照','逗号分隔后,去前2列作为key
output数据:
2,2     c,c,c,c  #其中key为2,2  value为c,c,c,c
2. 分桶时的分隔符
map.output.key.field.separator
指定map输出<key,value>对之后,其中key内部的分割符
num.key.fields.for.partition
指定分桶时,按照分隔符切割后,用于分桶key所占的列数
举例:
map的output数据:
2,2     c,c,c,c
参数配置:
-jobconf map.output.key.field.separator=',' /
-jobconf num.key.fields.for.partition='1'   /
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /
output数据:
这样用于partition分桶的key就为:2
注意,这里分桶不应该用默认的HashPartitioner
3. reduce输出时的分割符
这个与map类似,分别用于reduce输出时分隔符以及key占有的列数
stream.reduce.output.field.separator
stream.num.reduce.output.key.fields


  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值