python 实现Hadoop的partitioner和二次排序

我们知道，一个典型的Map-Reduce过程包 括：Input->Map->Partition->Reduce->Output。

Partition负责把Map任务输出的中间结果 按key分发给不同的Reduce任务进行处理。

Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过 KeyFieldBasedPartitioner可以方便地实现二次排序。 
使用方法： 
      -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 
一般配合： 
      -D map.output.key.field.separator

      -D num.key.fields.for.partition使用。 
map.output.key.field.separator指定key内部的分隔符 
num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key

示例： 
1. 编写map程序mapper.sh；reduce程序reducer.sh; 测试数据test.txt

view plain

mapper.sh:  

#!/bin/sh  cat    

reducer.sh:  

#!/bin/sh  sort    

test.txt内容：  

1,2,1,1,1  

1,2,2,1,1  

1,3,1,1,1  

1,3,2,1,1  

1,3,3,1,1  

1,2,3,1,1  

1,3,1,1,1  

1,3,2,1,1  

1,3,3,1,1  

2. 测试数据test.txt放入hdfs，运行map-reduce程序

view plain

$ hadoop streaming /    

-D stream.map.output.field.separator=, /    

-D stream.num.map.output.key.fields=4 /    

-D map.output.key.field.separator=, /    

-D num.key.fields.for.partition=2 /    

-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /    

-input /app/test/test.txt  /  

-output /app/test/test_result / 
-mapper ./mapper.sh  /    

-reducer ./reducer.sh /    

-file mapper.sh /    

-file reducer.sh /    

-jobconf mapre.job.name="sep_test"    

$ hadoop fs –cat /app/test/test_result/part-00003      

1,2,1,1     1      

1,2,2,1     1      

1,2,3,1     1    

$ hadoop fs –cat /app/test/test_result/part-00004      

1,3,1,1     1      

1,3,1,1     1      

1,3,2,1     1      

1,3,2,1     1      

1,3,3,1     1      

1,3,3,1     1  

通过这种方式，就做到前4个字段是key，但是通过前两个字段进行partition的目的

注意：

-D map.output.key.field.separator=, /  

这个分隔符使用TAB键貌似不管用

Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程

工作流程　：　

InputFile --> mappers --> [Partitioner] --> reducers --> outputFiles

理解 :