【MIT 6.5840/6.824】Lab1 MapReduce

6.5840/6.824 Lab与笔记汇总
本文对应的Lab版本为MIT6.5840-Spring2024的Lab1
本博客只提供思路，不会公开任何代码

本lab耗时约6h，码量约500行

MapReduce思想

MapReduce的思想属于是比较简单的，分为两个阶段：
Map阶段将用户指定的输入文件（通常存放于分布式文件系统中，不过本Lab使用本地文件系统来代替），利用用户编写的map函数，将输入文件拆分为（key，value）形式，输出到若干个中间文件中（这些中间文件存放在map函数所运行的机器中，假设后面运行reduce函数的worker有nReduce个，那么每个运行map函数的worker，就需要把拆分出来的kv对分为nReduce个中间文件来存放，可在key上做hash来划分kv对到对应的中间文件中）
Reduce阶段将中间文件读取出来，并按照key进行排序，然后调用用户提供的reduce函数，将相同key的所有value进行聚合，最后输出到文件中。假设存在nReduce个reduce任务，那么最后会产生nReduce个输出文件。
MapReduce框架中，存在一个coordinator（论文里也叫master），用于协调map任务与reduce任务，同时，需要考虑任务crash的问题（重启任务）。

<