MapReduce笔记

概述

1. MapReduce是一个分布式的计算框架（编程模型），最初由谷歌的工程师开发，基于GFS的分布式计算框架，主要用于搜索领域，解决海量数据的计算问题，后来Cutting根据《Google Mapreduce》，设计了基于HDFS的Mapreduce分布式计算框架。
2. MR框架对于程序员的最大意义在于，不需要账务分布式计算编程，不需要考虑分布式编程里可能存在的种种难题，比如任务调度和分配、文件逻辑切块、位置追溯等工作，这样，程序员能够把大部分精力放在核心业务层面上，大大简化了分布式程序的开发和调试周期。
3. MR由两个阶段组成:Map 和 Reduce，用户只需要实现map()和reduce()函数，即可实现分布式计算，非常简单，这两个函数的形参是key value对，表示函数的输入信息。