map分组后取前10个_MapReduce入门（第九讲）

1.MapReduce概述

a.MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.

b.MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。

c.这两个函数的形参是key、value对，表示函数的输入信息。

执行步骤：

1. map任务处理

1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。

1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

1.3 对输出的key、value进行分区。

1.4 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。

1.5 (可选)分组后的数据进行归约。

2.reduce任务处理

2.1 对多个map任务的输出(一个reduce接收多个map输出)，按照不同的分区，通过网络copy到不同的reduce节点。

2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

2.3 把reduce的输出保存到文件中。

例子：实现WordCountApp

1.读取hdfs中的文件，调用map函数

将每一行都解析成一个键值对，这样每个键值对都调用一次map函数

将上面文件的内容解析成2个键值对，分别是<0,hello you>,<10,hello me>,调用2次map函数

key：当前文本行的首地址，下标从0开始，第二个"hello you"+"换行符"共10字符

value：当前行中的内容

2.重写覆盖之前的map函数，将上一步产生的键值对作为参数，调用新的map函数转换成新的键值对

public void map(k, v, ctx){

String[] splited = v.split("\t");

for(String word : splited){

ctx.write(word, 1);

｝

}

3.对2中输出的键值对进行分区：默认分为1个区

4.对不同分区的数据进行排序(按照键k)、分组(指的是相同key的value放到一个集合中)

map输出后的数据是：

排序后是：

分组后：

5.(可选)对分组后的数据进行规约

6.将多个map任务输出的结果，按照不同的分区，通过网络copy到不同的reduce节点上

7.对多个map输出的结果进行合并、排序。覆盖reduce函数，接收的是分组后的数据，实现自己的业务逻辑，处理后，产生新的输出

//reduce函数被调用的次数是3

public void reduce(k,vs, ctx){

long sum = 0L;

for(long times : vs){

sum += times;

}

ctx.write(k, sum);

｝

8.对reduce输出的写到hdfs中

hello 2

me    1

you   1