MapReduce介绍

转载自:http://mavforcezt1008.iteye.com/blog/985761

• 博客分类： 
• hadoop

Mapreduce 编程 Google 领域模型 Linux 

1. 介绍 
    MapReduce是google发明的一种编程模型。在这种编程模型下，用户通过定义一个map函数和一个reduce函数来解决问题。map函数对用户输入的键/值对（key/value pair）进行处理（处理时可能只有值这一项有用），生成一系列新的键/值对作为中间结果；系统（MapReduce的实现）对map函数生成的键/值对进行处理，将同属于一个键（key）的值（value）组合在一起，生成键/值列表（（key/list of values） pair）对；reduce函数将键/值列表对作为输入，对同属于一个键的值列表进行处理，生成最终处理结果输出。 

    如果一个问题可以通过MapReduce编程模型来表达和解决，就可以通过MapReduce系统自动获得并行执行能力。程序员不需要有并行程序设计的经验，只需要定义map和reduce函数。 
 

    2.  例子 
    设想对一堆文档进行每个单词出现次数进行统计的例子。用户会定义类似下面的map和reduce函数： 
    map(String key, String value): 
       //key: document name 
       //value: document contents 
       for each word w in value: 
          EmitIntermediate(w, "1"); 

    reduce(String key, Iterator values): 
       //key: a word 
       //values: a list of counts 
       int result = 0; 
       for each v in values: 
          result += ParseInt(v): 
       Emit(AsString(result)); 

    假如输入是两篇文档： 
    A--"MapReduce is a programming model" 
    B--"MapReduce is easy to use" 
   
    map过程是将map分别作用于两篇文档，这样就可以两篇文档并行处理，产生输出是： 
    (MapReduce, 1), (is, 1), (a, 1), (programming, 1), (model, 1), (MapReduce, 1), (is, 1), (easy, 1), (to, 1), (use, 1)。 
   
    系统对map的输出结果进行处理，生成中间结果，作为reduce的输入， 中间结果为： 
    (MapReduce, [1,1]), (is, [1,1]), (a, [1]), (programming, [1]), (model, [1]), (easy, [1]), (to, [1]), (use, [1])。 

    reduce过程是将reduce函数分别作用于上面八个键/值列表对，这样就可以八个键/值列表对并行处理，产生的输出是： 
    (MapReduce, 2), (is, 2), (a, 1), (programming, 1), (model, 1), (easy, 1), (to, 1), (use, 1)。 

    这样，每个单词出现的频率就统计出来了。 

    3. 实现 
    Google的MapReduce实现，运行在他们一向引以为傲的数以千计的commodity machines组成的linux cluster上面，使用了master/slaves结构，master进行任务分配，slave执行具体的任务。 

    在MapReduce的具体实现中，并不是简单的将n个文档作为n个map任务并行处理，而是将输入文档集合按字节数（比如64M）打包，每个包中的数据，作为一个map任务并行处理，这样，一个大文件，就可能被分为多个包分别进行处理。也不是将r个键/值列表对作为r 个reduce任务并行处理，而是通过一个哈希函数将所有的 key分组，同一个组中的键/值列表对在同一个reduce任务中处理（仍然是分别处理）。这样就可以控制map和reduce的任务数量。 

    Google的MapReduce实现，大量使用了临时文件。假如有n个map任务，r个reduce任务，每个 map任务，将自己的输出按照key对于哈希函数的哈希值进行分组（共r 组），同一分组中的所有键/值对排序后写入一个临时文件中。这时保证了同一个文件中的所有键（key）是有序的。每个reduce任务执行时，将所有 map任务产生的属于自己的那个临时文件（共n个文件）读入，归并排序后将结果送给reduce函数处理。每个reduce任务产生一个最终的文件作为输出。这样，就需要一个分布式的文件系统作为底层支持。Google使用的是Google File System(GFS)。 

    4. 总结 
    限制了编程模型可以使并行计算十分简单易用，并且系统结构简单，易于实现。在这种模型下，MapReduce系统框架隐藏了并行处理，容错，负载均衡等细节问题，使没有并行处理和分布系统经验的程序员可以使用并行系统解决问题。 

    这种限制了的编程模型仍然具有很强的表达能力，可以处理信息检索领域的许多问题，比如Distributed Grep, Count of URL Access Frequency, Reverse Web-Link Graph, Term-Vector per Host, Inverted Index, Word Count。