MIT6.824 分布式课程 Lab1实验-MapReduce

MIT6.824 LAB1总结

主要记录和总结一下lab1实验的主要思路和总结，希望能给做该实验的小伙伴一点有用的帮助，按照官方的说法，就不公布源码了。如果有需要源码的小伙伴可以移步东东儿大佬的博客，我在实验过程中也受到了很大启发和帮助。

整体流程

1. worker启动一个无限循环，通过rpc向coordinator即master节点获取任务，然后coordinator通过rpc分配map任务给worker节点，等待worker节点将map任务完成。
2. worker节点将分配的map任务完成以后，生成对应的中间文件intermediate，将结果返回给coordinator，coordinator接收到结果以后，更新任务状态，主要记录所有的map任务是否完成。
3. 当所有的map任务都完成以后，coordinator会将map获取的中间文件分配给worker节点作为reduce任务的输入，然后worker节点执行reduce任务。
4. 每次完成reduce任务后worker节点向coordinator报告并更新状态，知道所有任务完成，完成mapreduce任务。

其中worker和coordinator中的所有信息传递都通过rpc进行，以模仿真实的分布式场景。

代码结构体设计

rpc结构体

这一部分主要是用来传递消息，包括两大部分：一个部分是用于worker节点向coordinator获取任务，包括worker节点传递的参数以及coordinator返回的分配结果；另一个部分则是用于worker节点向coordinator报告更新任务完成状态，同样包括worker节点传递的参数和coordinator的返还结果。

type GetTaskArgs struct {
   
	X int //用于worker向coordinator获取任务，不用传递任何参数。
}

//用于coordinator返还分配任务的结果
type GetTaskReply struct {
    
	MapFileName string //分配的map任务中需要处理的文件名
	TaskName