hadoop Partitioner 分区

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30

import  org.apache.hadoop.io.Text; import  org.apache.hadoop.mapreduce.Partitioner; /* 测试 Partitioner 分区   */ public class TestPartitioner extends Partitioner<Text, Text>{      /*       * 接受的两个是应该是输入的<key value> 的数据类型 然后根据传进来的 的key 应该有三种结果long right short 然后进行区分输出文件       */                                                                                                        @Override      public int getPartition(Text key, Text value, int numPartition) {                                                                                                                /*           *  numPartition = job.setNumReduceTasks(3); 在运行类设置           *  numPartition 分多少个reduce 或者分多少个 文件数量           *  如果是伪分布式 出来的文件 也只有一个而已 因为 他无法设置 reduce的数量 要么一个 要么 0个reduce           *  但是输出的文件是排序了的           */                                                                                                                int  result =  0 ;          if (key.equals( "long" )){              result =  0  % numPartition;  //part-r-00000 输出到的文件          }  else  if  (key.equals( "short" )){              result =  1  % numPartition;  //part-r-00001          }  else  if  (key.equals( "right" )){              result =  2  % numPartition;  //part-r-00002          }          return  result;      } }

这里建立的基础是

有数据 如同下面

1 2 3 4

mrwang     11   huai     13     14   ting     66     77   xiaowang     77     88     99

其中 第一行 只有两列数据

第四行 有四列数据

而我们希望只计算三列数据的

于是我们就可以用 Partitioner 进行区分数据 或者区分文件

他是通过在map阶段输入数据并且 通过指定某个reduce 去达到 分区的效果的

默认使用的是 HashPartitioner 

job.setPartitionerClass() 应该是可以通过这样去使用partitioner 

本文转自    拖鞋崽      51CTO博客，原文链接:http://blog.51cto.com/1992mrwang/1206346