6.824 lab1 MapReduce

已于 2022-10-16 09:52:36 修改
阅读量584 收藏 1
点赞数
分类专栏： mit 6.824 文章标签： mapreduce 大数据
于 2022-10-15 21:38:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38533474/article/details/127340733
版权
这篇博客记录了完成6.824 lab1 MapReduce实验的过程，包括实验文件结构、worker与coordinator的交互流程、任务分配策略以及在DEBUG过程中遇到的早期退出和崩溃测试的解决办法。实验中使用锁机制实现任务分配，通过map和reduce处理文件数据。调试过程中因bash版本问题导致的早退测试错误，通过升级bash解决。此外，还解决了crash测试中任务回收的逻辑错误。
摘要由CSDN通过智能技术生成

     做完了实验，记录下大概的过程和遇到的问题。

一、实验目录所需文件如下：

              

其中 main中为运行的框架文件和脚本，mr 中为自己写的主体处理过程的文件，mrapps中为运行在mapreduce中的源文件如单词计数程序wc.go等

二、worker和coordinator 之间流程如下：

  1. coordinator获取输入文件后，等待worker RPC 请求任务。
  2. 满足条件时，先assign给woker MAP任务，此时coordinator处于MAP阶段。
  3. 然后等所有MAP 任务完成后， coordinator 跳转为REDUCE阶段，等待worker 请求任务并被assign
  4. 等所有REDUCE任务完成后跳转为DONE 状态
  5. Woker  RPC收到 DONE状态后停止请求并结束， coordinator 下次检测DONE 状态时结束
最低0.47元/天 解锁文章
一蓑烟雨_zzz
关注
专栏目录
MIT 6.824 Lab1 MapReduce
weixin_46840831的博客
11-25 604
文章目录概述基本需求基本数据结构CoordinatorWorker具体功能Worker注册任务请求与执行宕机处理总结 概述 本文章主要讲述lab1的基本实现思路，具体的实验要求见MIT-Lab1 基本需求 一个Coordinator管理多个Worker，通过RPC进行通信 Worker向Corrdinator请求任务，Coordinator向Worker分配任务 Coordinator能够处理Worker Crash 基本数据结构 Coordinator type Coordinator stru
6.824 ——lab1 MapReduce
weixin_48383957的博客
01-22 2068
设计方案说明 MapReduce 系统 MapReduce MapReduce 包含两种操作，Map 和 Reduce。 其中 Map 是按照用户定义的方式，将字符串（通常是文本内容）转化成一组键值对。这个操作虽然叫做 Map，但并不是一定是真正意义上的映射。转化出的键值对更应该叫做二元组，因为多个键值对可以有相同的 Key ，甚至可以 Key 和 Value 均相同。 Reduce 则是操作 Map 得到的键值对组。将其中 Key 相同键值对的全部 Value 按照用户定义的方式进行合并。 MapRedu
MIT6.824 Lab 1: MapReduce
victorika的博客
11-22 368
mit的分布式实验。第一个实验就是实现google MapReduce论文的简单版本，基于课程要求，我的代码就不公开了（本身也不会go，边写边查资料的，临时磨枪上阵，代码写得太烂）。 直接我的思路。 流程 分为两个部分，master和worker。 master： 3个协程，（注意go的协程是可以在不同的线程的，所以写共享数据的时候要上锁） 1.RPC服务器。提供两个rpc接口GetTask和markTaskFinish，用于获取任务和标记任务完成。 2.任务状态检查，检查所有任务是否完.
MIT6.824-lab1-MapReduce
迷雾总会解
04-28 2445
本文是对MIT6.824中lab1 MapReduce的介绍和代码实现
6.824 lab1.zip
08-12
MIT公开课6.824: Distributed Systems 2020年春季中的lab 1代码，lab地址：https://pdos.csail.mit.edu/6.824/labs/lab-mr.html
mit6.824-MapReduce概念及Lab1的实现
yaya的博客
03-28 1424
mit6.824分布式系统-MapReduce的概念和Lab1的实现
6.824 Lab 1: MapReduce
void
07-31 413
lab源地址 简介 根据MapReduce Paper构造一个MapReduce系统。该系统主要包括master和worker。master主要负责分发任务、处理worker故障；worker主要负责根据map、reduce函数读写文件。 思路 任务分发：master将需要完成的任务放到通道中，让worker从通道中拿取任务，根据任务类型完成相应的操作。 容错：master跟踪每个任务的完成情况，如果一个任务超过一定时间仍未完成，则重新发布该任务。 完成情况判断：master直接判断当前目录的目标文件是否存
6.824 Lab1 MapReduce
最新发布
zlbht的博客
05-28 121
任务的消费端，任务分为两类一类是MapTask，另一类是ReduceTask，其中还有两类假任务分别为WaitingTask，ExitTask，分别用来标识当前阶段未完成，但任务已经分配完毕，通知Worker进行等待，等待下一阶段的任务分配；和全部任务已经完成，通知Worker进行退出。总的任务调度者，负责任务的创建，阶段的推进，已经当系统的Worker crash后进行任务的重发。
6.824 Lab1: MapReduce
u012315428的专栏
01-12 540
This is the implementation of 6.824 Lab1: MapReduce Part 1: Map/Reduce and output What you have to do is to finish the two function doMap() and doReduce() Each call to doMap() reads the appropria
MIT-6.824 Lab1 MapReduce
diyxuan的博客
08-07 289
记录了mit-6.824lab1的完成过程，以及对这个实验的解析与理解。
【MIT-6.824】Lab 1: MapReduce
weixin_30951389的博客
04-25 141
Lab 1链接：https://pdos.csail.mit.edu/6.824/labs/lab-1.html Part I: Map/Reduce input and output Part I需要补充两个关键功能：为map函数分解输出的功能和为reduce函数收集输入的功能，这两个功能对应的函数分别在common_map.go的doMap()函数和common_reduce.go的do...
mit6.824_Lab1: MapReduce
米兰的小科比
07-17 178
这里写自定义目录标题步骤概览 步骤概览 MapReduce 库将用户成据的输入分割成 M 快，每块通常 16-64 MB。 存在一个 Master, 和多个 Worker。存在 M 个 map 任务和 N 个 reduce 任务等待分配。 Master从worker中选择空闲的worker来完成任务。 被分配了 map 任务的 worker， 读取对应的 input 中的内容。通过 Map函数，完成对输入内容的解析。解析的结果是一系列的 key/value 对。这些 key/value 对被称为中间值，被
MIT 6.824分布式 LAB1： MapReduce
MarksSa的博客
10-02 638
mit 6.824 lab1 代码也完全都是自己凭感觉去写，代码可能比较丑陋，大伙儿看看就好。 lab1其实就是让你利用MapReduce的原理去实现数单词的程序。
6.824 - Lab1:实现一个MapReduce
viskaz的博客
04-05 1814
Go 实现 MapReduce 最近看了6.824的论文：MapReduce:Simplified Data Processing on Large Cluster，并完成了lab1：用Go实现MapReduce。总的来说lab中的Mapreduce实现不是特别复杂，但是新学Go没多久，很多API调用都不会，直接上手写一个小的分布式系统，还是有点挑战。 lab 实现注意的点： 以下是实现过程中踩的一些小坑，记录下来： 受到论文的影响，一开始以为需要用client fork 出多个进程或者是使用Go的携程，
2021MIT6.824 Lab1总结：MapReduce
ctoast的博客
10-08 230
基础概念 Map：输入为某一个输入文件，输出为若干个Key-Value对。Map根据任务需求，必要时会在该局部输入中运行算法，将输入中的有效信息提取出来并组织成Key-Value的形式。 Reduce：输入为相关的（具有相同key的）Key-Value的集合，输出同样为相关的Key-Value的集合。输出集合的大小往往比输入集合的大小小，很多时候只包含1个Key-Value对。Reduce在相关的Key-Value对上运行算法，对其合并压缩，是负责整合信息的一个函数。 分布式系统的整体工作流程的抽象描述 第
MIT 6.824 MapReduce
创业项目
07-22 173
MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。 MapReduce架构的程序能够在大量的普通配置的计算机上实现并行化处理。这个系统在运行时只关心：如何分割输入数据，在大量计算机组成的集群上的调度，集群中计算机的错误处理，管理集群中计算机之间必要的通信。采用
mit6.824之MapReduce
ocean1992的博客
05-06 688
mit6.824：MapReduce系统 最近决定开始学习mit6.824 Distributed Systems课程，主要包括阅读论文，课堂笔记和完成project，内容均在mit6.824 课程主页上找到。第一部分是经典的MapReduce系统设计，通读MapReduce论文，在此总结记录个人认为MapReduce设计的要点。 MapReduce执行流程 Fault Tolerance(...
mit6.824-MapReduce的Lab1的实现
05-22
MIT 6.824 课程的 Lab1 是关于 Map 的实现，这里单介绍一下实现过程。 MapReduce 是一种布式计算模型，它可以用来处理大规模数据集。MapReduce 的核心想是将数据划分为多个块，每个块都可以在不同的节点上并行处理，然后将结果合并在一起。 在 Lab1 中，我们需要实现 MapReduce 的基本功能，包括 Map 函数、Reduce 函数、分区函数、排序函数以及对作业的整体控制等。 首先，我们需要实现 Map 函数。Map 函数会读取输入文件，并将其解析成一系列键值对。对于每个键值对，Map 函数会将其传递给用户定义的 Map 函数，生成一些新的键值对。这些新的键值对会被分派到不同的 Reduce 任务中，进行进一步的处理。 接着，我们需要实现 Reduce 函数。Reduce 函数接收到所有具有相同键的键值对，并将它们合并成一个结果。Reduce 函数将结果写入输出文件。 然后，我们需要实现分区函数和排序函数。分区函数将 Map 函数生成的键值对映射到不同的 Reduce 任务中。排序函数将键值对按键进行排序，确保同一键的所有值都被传递给同一个 Reduce 任务。 最后，我们需要实现整个作业的控制逻辑。这包括读取输入文件、调用 Map 函数、分区、排序、调用 Reduce 函数以及写入输出文件。 Lab1 的实现可以使用 Go 语言、Python 或者其他编程语言。我们可以使用本地文件系统或者分布式文件系统（比如 HDFS）来存储输入和输出文件。 总体来说，Lab1 是一个比较简单的 MapReduce 实现，但它奠定了 MapReduce 的基础，为后续的 Lab 提供了良好的基础。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值