Hadoop 中MapReduce的排序理解

mr中一共有三次排序，第一次是在环形溢写缓冲区中进行快速排序，当达到默认阈值80M时写到  溢出文件，第二次是在多个溢出文件进行合并过程的排序中  第三次是在减少获取多个地图产生的多个合并文件时做一次排序  ，整个过程中前一次是快速排序因为在内存中，第二和第三次为归并排序

必须明确的一点是：Partiiton只是和分桶有关系，和排序没有任何关系

                                 排序是由key来完成的。下面，我们来看个例子：

假设map的输出是这样以点号分隔的若干行：

d.1.5.23 e.9.4.5 e.5.9.22 e.5.1.45 e.5.1.23 a.7.2.6 f.8.3.3

我们知道，在streaming模式默认hadoop会把map输出的一行中遇到的第一个设定的字段分隔符前面的部分作为key，后面的作为 value，如果输出的一行中没有指定的字段分隔符，则整行作为key，value被设置为空字符串。 那么对于上面的输出，如果想用map输出的前2个字段作为key，后面字段作为value，并且不使用hadoop默认的“\t”字段分隔符，而是根据该 文本特点使用“.”来分割，需要如何设置呢

bin /hadoop  streaming -input /tmp/comp-test .txt -output /tmp/xx  -mapper cat  -reducer cat  \ -jobconf stream.num.map.output.key.fields=2 \ -jobconf stream.map.output.field.separator=. \ -jobconf mapred.reduce.tasks=5

结果：

e.9 4.5 f.8 3.3 —————— d.1 5.23 e.5 1.23 e.5 1.45 e.5 9.22 —————— a.7 2.6

总结：
从结果可以看出，在reduce的输出中，前两列和后两列用“\t”分隔，证明map输出时确实把用“.”分隔的前两列作为key，后面的作为 value。并且前两列相同的“e.5”开头的三行被分到了同一个reduce中，证明确实以前两列作为key整体做的partition。
stream.num.map.output.key.fields 设置map输出的前几个字段作为key
stream.map.output.field.separator 设置map输出的字段分隔符

KeyFieldBasePartitioner的用法

如果想要灵活设置key中用于partition的字段，而不是把整个key都用来做partition。就需要使用hadoop中的org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner了。
下面只用第一列作partition，但依然使用前两列作为key。

bin /hadoop  streaming -input /tmp/comp-test .txt -output /tmp/xx  -mapper cat  -reducer cat  \ -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \ -jobconf stream.num.map.output.key.fields=2 \ -jobconf stream.map.output.field.separator=. \ -jobconf map.output.key.field.separator=. \ -jobconf num.key.fields. for .partition=1 \ -jobconf mapred.reduce.tasks=5

结果：

d.1 5.23 —————— e.5 1.23 e.5 1.45 e.5 9.22 e.9 4.5 —————— a.7 2.6 f.8 3.3

总结：
从结果可以看出，这次“e”开头的行都被分到了一个桶内，证明做partition是以第一列为准的，而key依然是前两列。并且在同一个 partition内，先按照第一列排序，第一列相同的，按照第二列排序。这里要注意的是使用 map.output.key.field.separator来指定key内字段的分隔符，这个参数是KeyFieldBasePartitioner 和KeyFieldBaseComparator所特有的。
map.output.key.field.separator 设置key内的字段分隔符
num.key.fields.for.partition 设置key内前几个字段用来做partition

事实上KeyFieldBasePartitioner还有一个高级参数 mapred.text.key.partitioner.options，这个参数可以认为是 num.key.fields.for.partition的升级版，它可以指定不仅限于key中的前几个字段用做partition，而是可以单独指定 key中某个字段或者某几个字段一起做partition。
比如上面的需求用mapred.text.key.partitioner.options表示为
mapred.text.key.partitioner.options=-k1,1
注意mapred.text.key.partitioner.options和num.key.fields.for.partition不需要一起使用，一起使用则以num.key.fields.for.partition为准。

这里再举一个例子，使用mapred.text.key.partitioner.options

bin /hadoop  streaming -input /tmp/comp-test .txt -output /tmp/xx  -mapper cat  -reducer cat  \ -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \ -jobconf stream.num.map.output.key.fields=3 \ -jobconf stream.map.output.field.separator=. \ -jobconf map.output.key.field.separator=. \ -jobconf mapred.text.key.partitioner.options=-k2,3 \ -jobconf mapred.reduce.tasks=5

结果：

e.9.4   5 —————— a.7.2   6 e.5.9   22 —————— d.1.5   23 e.5.1   23 e.5.1   45 f.8.3   3

可见，这次是以前3列作为关键的，而分区则以键中的第2-3列，因此以“E”开头的行被拆散了，但第二三列相同的“5,1”被分到一个桶内。在同一个桶内，依然是从键的第一列开始排序的，注意，KeyFieldBasePartitioner只影响分桶并不影响排序
.mapred.text.key.partitioner.options设置key内某个字段或者某个字段范围用做分区

KeyFieldBaseComparator的用法

首先简单解释一下hadoop框架中键的比较器，对于hadoop所识别的所有java的密钥类型（在框架看来key的类型只能是java的），很多类型都自定义了基于字节的比较器，比如Text，IntWritable等等，如果不特别指定比较器而使用这些类型默认的，则会将关键作为一个整体的字节数组来进行比较。而KeyFieldBaseComparator则相当于是一个可以灵活设置比较位置的高级比较器，但是它和没有自己独有的比较逻辑，而是使用默认Text的基于字典序或者通过-n来基于数字比较。
之前的例子使用KeyFieldBasePartitioner自定义了使用key中的部分字段做partition，现在我们通过org.apache.hadoop.mapred.lib.KeyFieldBasedComparator来自定义使用关键中的部分字段做比较。

这次把前四列都作为键，前两列做分区，排序依据优先依据第三列正序（文本序），第四列逆序（数字序）的组合排序。

bin /hadoop  streaming -input /tmpcomp-test .txt -output /tmp/xx  -mapper cat  -reducer cat  \ -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \ -jobconf mapred.output.key.comparator.class=org.apache.hadoop.mapred.lib.KeyFieldBasedComparator \ -jobconf stream.num.map.output.key.fields=4 \ -jobconf stream.map.output.field.separator=. \ -jobconf map.output.key.field.separator=. \ -jobconf mapred.text.key.partitioner.options=-k1,2 \ -jobconf mapred.text.key.comparator.options= "-k3,3 -k4nr"  \ -jobconf mapred.reduce.tasks=5

结果：

e.5.1.45 e.5.1.23 d.1.5.23 e.5.9.22 —————— a.7.2.6 —————— f.8.3.3 e.9.4.5

总结：
。从结果可以看出，符合预期的按照先第三列文本正序，第四然后列基于数字逆序的排序
另外注意，如果这种写法
mapred.text.key.comparator.options =” - K2 “
则会从第二列开始，用字典序一直比较到关键的最后一个字节。所以对于希望准确排序字段的需求，还是使用“k2,2”这种确定首尾范围的形式更好。另外如果给定的键中某些行需要排序的列数不够时，会比较到最后一列，缺列的行默认缺少的那一列排序值最小
.mapred.text.key.comparator.options设置key中需要比较的字段或字节范围