Map-Reduce是一种计算模式,用于实现管理多个大规模计算过程。保证对硬件故障的容错性。
通常包含Map和Reduce两种函数。
1. 一个系统可包含多个Map任务,输入为分布式文件(DFS)中的一个或者多个文件块。 Map的任务是将文件块转化成一个键值对序列。
2. 系统的主控制器从每个Map任务中收集一系列键值对,并对其按照键大小进行排序。这些键值对又被分到所有的Reduce任务中,所以具有相同键值对的键会被分到同 一Reduce任务中。
3. Reduce任务每次作用于 一个键,并将与此键关联的所有值以某种方式组合起来。