MapReduce实现分区详细过程

1.实现分区的步骤：
    1.1先分析一下具体的业务逻辑，确定大概有多少个分区
    1.2首先书写一个类，它要继承org.apache.hadoop.mapreduce.Partitioner这个类
    1.3重写public int getPartition这个方法，根据具体逻辑，读数据库或者配置返回相同的数字
    1.4在main方法中设置Partioner的类，job.setPartitionerClass(DataPartitioner.class);
    1.5设置Reducer的数量，job.setNumReduceTasks(6);
 
2.排序MR默认是按key2进行排序的，如果想自定义排序规则，被排序的对象要实现WritableComparable接口，在compareTo方法中实现排序规则，然后将这个对象当做k2，即可完成排序
 
3.combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。
 
4.MR启动流程
    start-mapred.sh  --> hadoop-daemon.sh --> hadoop --> org.apache.hadoop.mapred.JobTracker
    
    

    Jobtracker调用顺序：main --> startTracker  --> new JobTracker

     在其构造方法中首先创建一个调度器，接着创建一个RPC的server&#x