基于MapReduce的二次排序实现

二次排序综述

Mapreduce框架会自动对映射器生成的键完成排序.再启动归约器之前，映射器中生成的所有中间键-值对必然是按键有序的（而不是按值有序）。传入各个归约器的值并不是有序的，它们可能有任意的顺序。如果想要对归约器的值进行排序二次排序设计模式可以实现该目标。

首先，我们会重点介绍MapReducelHadoop解决方案。下面来看  MapReduce范式，然后详细分析二次排序的概念:

map(key1,  value1)  ->  list(key2,   value2)

reduce(key2,   list(value2))  ->  list(key3,  value3)

首先，map()函数接受一个键值对输入(key1, value1),然后他会输出任意数目的键值对(key2, value2),接下来,reduce()函数接受另一个键值对(key2, list(value2))作为输入,并输出任意数目的键值对.

现在考虑键值对(key2, list(value2))，这会是归约器的输入,其中list(value2) = v1, v2, v3,….., vn.

这里,归约器的值v1, v2, v3,….., vn是无序的。

二次排序的目标就是让归约器接受的值有某种顺序。这样一来，对MapReduce范式应用这种模式时，就可以得到:

    SORT(V1，V2, …，Vn)=(S1， S2，…，Sn)

       list(value2)=(S1， S2，…，Sn)

在这里:

    S1<S2<…<Sn(升序)，或

        S1>S2>…>Sn(降序)

下面是一个二次排序问题的例子:考虑一个科学试验得到的温度数据。这些温度数据可能如下所示(各个列分别为年(year)、月(month)、日(day)和当天温度(daily  temperature)):

2012, 01, 01, 5

2012, 01, 02, 45

2012, 01, 03, 35

2012, 01, 04, 10

 

2001, 11, 01, 46

2001, 11, 02, 47

2001, 11, 03, 48

2001, 11, 04, 40

 

2005, 08, 20, 50

2005, 08, 21, 52

2005, 08, 22, 38

2005, 08, 23, 70

假设我们希望输出每一个"年-月"(year-month)的温度，值按升序排序。实际上，这里希望对归约器值的迭代器排序。因此，我们想要生成类似下面的输出(第一列是"年-月"(year-month)，第二列是已排序的温度):

2012-01: 5, 10, 35, 45, ...

2001-11: 40, 46, 47, 48, ...

2005-08: 38, 50, 52, 70, ...

二次排序问题实现细节

要实现二次排序, 需要另外一些Java插件类。我们要告诉MapReduce/Hadoop框架:

1. 1. 如何对归约器键排序。
   2. 如何对传入归约器的键分区(定制分区器)。
   3. 如何对到达各个归约器的数据分组。

                                     

中间键的排序顺序

要实现二次排序，我们需要控制中间键的排序顺序，以及归约器处理键的顺序。首先，要在组合键中注入一个值(temperature数据)，然后控制中间键的排序顺序。 自然键、组合键和键-值对之间的关系如图所示。

图片来自大数据算法这本书（封面是一直澳洲大龙虾）

要为自然键增加什么值来实现二次排序，答案是temperature数据，因为我们希望归约器值按temperature排序。所以，要用compareTo()方法指出如何对DateTemperaturePair对象排序。要定义一个适当的数据结构保存键和值，另外还需要提供中间键的排序顺序。

 

 

个人关于二次排序的理解

对于MapReduce框架来说，有一个特点，那就是在MapReduce框架中会自动对映射器生成的键完成排序，于是二次排序便参照这一特点，将温度和日期放在一起形成组合键，然后实现Writable接口存储自定义类，然后实现WritableComparable接口重写最重要的compareTo方法，该方法的作用是告诉框架，在日期相同的情况下，按照温度进行排序，以此实现按值排序。对于该方法的理解，与TreeMap中实现元素有序的方法类似。（TreeMap的有序博客中的文章有提到）