MapReduce排序过程

排序是MapReduce框架中最重要的操作之一。

MapTask和ReduceTask均会对数据按照key 进行排序。该操作属于Hadoop 的默认行为，任何应用程序中的数据均会被排序，而不管逻辑上是否需要。

默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。

发生排序时机

MapTask

        1，当环形缓冲区使用率达到一定阈值后，对缓冲区的数据进行一次快速排序。

        2，并将这些有序数据溢写到磁盘上，而当数据处理完毕后，他会对磁盘上所有文件进行归并排序

ReduceTask

        3，当所有数据拷贝完毕后，ReduceTask统一对内存和磁盘上的所有数据进行一次归并排序。

排序分类：

        1，部分排序：

                MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部有序。

        2，全排序：

                最终输出结果只有一个文件，且文件内部有序。实现方式是指设置一个ReduceTask，但该方法在处理大型文件时效率极低，因为一台机器处理所有文件，完全丧失了MapReduce所提供的并行架构。

        3，辅助排序（GroupingConparator分组）：

                在Reduce端对key进行分组。应用于：在接受的key为bean对象时，想让一个或几个字段相同（全部字段比较不相同）的key进入同一个reduce 方法时，可以采用分组排序。

        4，二次排序：

                        在自定义的排序过程中，如果compartTo中的判断条件为两个即为二次排序。

                (1)CompareTo方法

                        CompareTo方法被称为自然比较法，利用当前对象和传入对象进行比较

                        若是当前对象比目标对象大，则返回1，那么当前对象会排在目标对象后面

                        若当前对象比目标对象小，则返回-1，那么当前对象会排在目标对象后面

                        若两个对象都相等，则返回0。