No.9大数据入门 | MR实践之--全局排序二

接上篇：hadoop全局排序

本篇通过设置partitioner,多个reducer来实现全局排序。

这里的思路一个partition对应一个reduce的task，reduce的输入本来就是对key有序的，所以很自然地就产生了一个排序文件，如果是分多个partition呢，则只要确保partition是有序的就行了。

比如我们的数据是这样的 aaa bbb ccc

我们设定key=aaa bbb ， 则value=ccc。

再设定partition=aaa。

也就是先按照第一列数据进行分桶，然后每个分桶里面的数据再按照key进行sort，相当于做了二次排序这么一个事情。

接着用上篇的例子进行解释：

我们数据是0-100个数据，我们设定reduce num = 2;

我们希望0-49放在reduce1中，50-100放入reduce2中。通过一个支点来判断左右，将数据放入两个particular中。

代码：

map.py:

import sys

base_count = 10000

for line in sys.stdin:

    ss = line.strip().split('\t')

    key = ss[0]

    val = ss[1]

    new_key = base_count + int(key)

    red_idx = 1

    if new_key < (10100 + 10000) / 2:#判断并将数据分为两个桶

        red_idx = 0

    print "%s\t%s\t%s&#