hhj1415490003的博客

原创 MIT6.5840/6.824 MapReduce 实验记录

比如如果直接命名，两个并行worker接到了同一个任务，worker2在写fileN，这时候worker1刚开始执行，发现已经创建了fileN，这个文件可能是写了一部分的，也可能是完整的，worker1直接删除准备重写，这时候worker2就会出现报错。思想： 每个worker都是既可以处理map task 也可以处理reduce task，不做区分，轮询去去请求coordinator阻塞等待获取任务，如果获取到了任务，执行这个任务，如果没有获取到任务，则睡眠1秒。核心部分，找到一个任务并且执行。