MIT6.824 - lab1
关于lab1,网上也不少的资料了。这里简单地描述一下流程。
需要完成的主要有下面几个部分:
1)master初始化任务,两种任务是不互相干扰的,只是有前后关系,所以启动就可以将任务加载放入到mapTaskWaittingChan和reduceTaskWaittingChan。chan本身是并发安全,较为方便。
2)master监听从worker的请求分发任务:
如果mapTaskWaittingChan非空,分发mapTask;
如果map任务全部完成,reduceTaskWaittingChan非空,分发reduceTask;
如果没有空闲的任务,两个记录运行中任务的链表都非空,就通知worker等待;
如果没有空闲任务,同时运行中任务链表均为空,通知worker任务完成;
3)worker根据接受到的任务执行对应的任务,完成后上报master。master将任务从runningList摘除。其中,涉及队列的操作都会通过一个mutex来保护。worker完成上报后,再重新发起任务请求,直至接收到master通知所有任务完成后退出。
4)master会定时检查runningList中任务,对于运行时间超过设定的阈值的任务,从runningList上摘下,放入到对应的waittingChan中,等待worker来获取任务,重新执行。
对应代码放到github中,可作参考:
https://github.com/luijianfie/MIT-6.824-2020