【Python机器学习】MapReduce（分布式计算的框架）

MapReduce的优缺点：

优点：可在短时间内完成大量工作；

缺点：算法必须经过重写，需要对系统工程有一定的理解；

适用数据类型：数值型和标称型数据。

MapReduce是一个软件框架，可以将单个计算作业分配给多台计算机执行。它假定这些作业在单机上需要很长的运行时间，因此使用多台机器缩短运行时间。常见的例子是日常统计数字的汇总，该任务单机上执行时间将超过一天。

MapReduce的名字是由函数式编程中常用的map和reduce两个单词组成的。

MapReduce在大量节点组成的集群上运行，它的工作流程是：单个作业被分成很多小份，输入数据也被切片分发到各个节点，各个节点只在本地数据上做运算，对应的运算代码称为mapper，这个过程被称为map阶段，每个mapper的输出通过某种方式组合（一般还会做排序）。排序后的结果再被分成小份分发给各个节点进行下一步处理工作。第二步的处理阶段被称为reduce阶段，对应的运行代码被称为reducer。reducer的输出就是程序的最终执行结果。

MapReduce的优势在于它使得程序以并行的方式执行。如果集群由10个节点组成，而原先的作业需要10个小时来完成，那么应用MapReduce该作业只需要一个多小时就可以得到同样的结果。

举例：入给出过去100年某国每个城市每天的正确气温数据，我们想知道近100年该国最高气温。这里的数据格式为<city><date><temp>。为了统计该时段内的最高温度，可以先将这些数据根据节点数分成很多份，每个节点各自寻找本机数据集上的最高温度，这样每个mapper将产生