MapReduce

最新推荐文章于 2024-09-27 16:42:50 发布

我是悲伤胖球

最新推荐文章于 2024-09-27 16:42:50 发布

阅读量110

点赞数

分类专栏：并行计算文章标签： mapreduce hadoop

本文链接：https://blog.csdn.net/weixin_45716147/article/details/115899533

版权

并行计算专栏收录该内容

1 篇文章 0 订阅

订阅专栏

MapReduce简介
MapReduce是一种编程模型，用于大规模数据集的并行运算。“Map”和“Reduce”是它的主要思想，极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map函数，用来把一组键值对映，射成一组新的键值对，指定并发的Reduce函数，来保证所有映射的键值对中的每一个共享相同的键组。
映射和化简
一个映射函数就是对一些独立元素组成概念上的列表的每一个元素进行指定的操作。例如一个测试成绩的列表，有人发现所有人的成绩都被高估了一分，即可定义一个“减一”的映射函数，修正这个错误。事实上，每个元素都是独立操作的，而原始列表没有更改，因为这里创建了一个新的列表保存新的答案，这就是说，Map是可以高度并行的。
而化简操作指的是对一个列表的元素进行适当的合并。继续看前边的例子，如果有人想知道班级的均分该怎么做？可以定义一个化简函数，通过让列表中的元素跟自己相邻的元素相加的方式把列表减半，如此递归运算直到列表只剩下一个元素，然后用这个元素除以人数，得到均分。虽然不如映射函数那么并行，但是因为化简总有一个简单的答案，大规模的运算相对独立，所以化简在高度并行的环境下也很有用。
分布可靠
MapReduce通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性的返回它所完成的工作和最新的状态。如果一个节点保持沉默超过一个预设的时间间隔，主节点（类同Google File System中的主服务器）记录下这个节点状态为死亡，并把分配给这个节点的数据发到别的节点。
化简操作工作方式与之类似，但是由于化简操作的可并行性相对较差，主节点会尽量把化简操作只分配在一个节点上，或者离需要操作的数据尽可能近的节点上；
在这里插入图片描述
举一个统计词频的例子，在统计词频的例子里，map函数接受的键是文件名，值是文件的内容，map逐个遍历单词，每遇到一个单词w，就产生一个中间键值对<w, “1”>，这表示单词w咱又找到了一个；MapReduce将键相同（都是单词w）的键值对传给reduce函数，这样reduce函数接受的键就是单词w，值是一串"1"（最基本的实现是这样，但可以优化），个数等于键为w的键值对的个数，然后将这些“1”累加就得到单词w的出现次数。最后这些单词的出现次数会被写到用户定义的位置，存储在底层的分布式存储系统（GFS或HDFS）。
工作原理
如上图，从最上方的user program开始，链接了MapReduce库，实现了最基本的Map函数和Reduce函数。执行顺序用数字标记。

MapReduce库先把user program的输入文件划分为M份（M用户自己定义），如图左方分成了split0~4；然后使用fork将用户进程拷贝到集群内的其他机器上。
user program的副本中有一个称为master，其余称为worker，master是负责调度的，为空闲的worker分配作业（Map或者Reduce作业），worker的数量可以由用户指定。
被分配了Map作业的worker，开始读取对应分片的输入数据，Map作业数量是由M决定的，和split一一对应；Map作业从输入数据中抽取出键值对，每个键值对都作为参数传递给map函数，map函数产生的中间键值对被缓存在内存中。
缓存的中间键值对会被定期写入本地磁盘，而且被分为R个区，R的大小是由用户定义的，将来每个区会对应一个Reduce作业；这些中间键值对的位置会被通报给master，master负责将信息转发给Reduce worker。
master通知分配了Reduce作业的worker它负责的分区在什么位置（肯定不止一个地方，每个Map作业产生的中间键值对都可能映射到所有R个不同分区），当Reduce worker把所有它负责的中间键值对都读过来后，先对它们进行排序，使得相同键的键值对聚集在一起。因为不同的键可能会映射到同一个分区也就是同一个Reduce作业（谁让分区少呢），所以排序是必须的。
reduce worker遍历排序后的中间键值对，对于每个唯一的键，都将键与关联的值传递给reduce函数，reduce函数产生的输出会添加到这个分区的输出文件中。
当所有的Map和Reduce作业都完成了，master唤醒正版的user program，MapReduce函数调用返回user program的代码。
所有执行完毕后，MapReduce输出放在了R个分区的输出文件中（分别对应一个Reduce作业）。用户通常并不需要合并这R个文件，而是将其作为输入交给另一个MapReduce程序处理。整个过程中，输入数据是来自底层分布式文件系统（GFS）的，中间数据是放在本地文件系统的，最终输出数据是写入底层分布式文件系统（GFS）的。而且我们要注意Map/Reduce作业和map/reduce函数的区别：Map作业处理一个输入数据的分片，可能需要调用多次map函数来处理每个输入键值对；Reduce作业处理一个分区的中间键值对，期间要对每个不同的键调用一次reduce函数，Reduce作业最终也对应一个输出文件。