MapReduce入门（第九讲）

1.MapReduce概述

  a.MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.

  b.MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。

  c.这两个函数的形参是key、value对，表示函数的输入信息。

执行步骤：

 1. map任务处理

1.1 读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数。

1.2 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

1.3 对输出的key、value进行分区。

1.4 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。

1.5 (可选)分组后的数据进行归约。

2.reduce任务处理

2.1 对多个map任务的输出(一个reduce接收多个map输出)，按照不同的分区，通过网络copy到不同的reduce节点。

2.2 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

2.3 把reduce的输出保存到文件中。

例子：实现WordCountApp

1.读取hdfs中的文件，调用map函数

  将每一行都解析成一个<key,value>键值对，这样每个键值对都调用一次map函数

  

  将上面文件的内容解析成2个键值对，分别是<0,hello you>,<10,hello me>,调用2次map函数

  key：当前文本行的首地址，下标从0开始，第二个"hello you"+"换行符"共10字符

  value：当前行中的内容

2.重写覆盖之前的map函数，将上一步产生的键值对作为参数，调用新的map函数转换成新的键值对

    public void map(k, v, ctx){

       String[] splited = v.split("\t");

       for(String word : splited){

          ctx.write(word, 1);

        ｝ 

    }

3.对2中输出的键值对进行分区：默认分为1个区

4.对不同分区的数据进行排序（按照键k）、分组（指的是相同key的value放到一个集合中）

  map输出后的数据是：<hello,1><you,1><hello,1><me,1>

  排序后是：<hello,1><hello,1><me,1><you,1>

  分组后：<hello,{1,1}><me,1><you,1>

5.(可选)对分组后的数据进行规约

6.将多个map任务输出的结果，按照不同的分区，通过网络copy到不同的reduce节点上

7.对多个map输出的结果进行合并、排序。覆盖reduce函数，接收的是分组后的数据，实现自己的业务逻辑，处理后，产生新的<k,v>输出

    //reduce函数被调用的次数是3

    public void reduce(k,vs, ctx){

        long sum = 0L;

        for(long times : vs){

            sum += times;    

        }  

        ctx.write(k, sum);

    ｝

8.对reduce输出的<k,v>写到hdfs中

   hello 2

   me    1

   you   1

转载于:https://blog.51cto.com/11267515/1752167