6.824(2020年) Lab1 MapReduce

最新推荐文章于 2023-03-28 12:26:24 发布
最新推荐文章于 2023-03-28 12:26:24 发布
阅读量669 收藏
点赞数 1
文章标签： 分布式系统 分布式 分布式设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hohomi77/article/details/107123022
版权
本文详细介绍了6.824 2020年Lab1关于MapReduce的实现，包括RPC设计、处理worker崩溃的策略、Master的状态管理和难点分析。相较于2018年，2020年的Lab1增加了RPC自定义和并发控制的挑战，需要使用mutex防止竞态条件。
摘要由CSDN通过智能技术生成

目录

6.824(2020年) Lab1 MapReduce

2018年只要写worker的doMap，doReduce以及master分配任务的schedule，共3个函数。2020年和2018年的相比，难度增加了一点。2020年的Lab1需要我们自己定义RPC。

RPC

Go语言的RPC都是2个参数，Args是客户端所发请求的参数，Reply是服务器执行完rpc的回复。
这个Lab只要一个RPC call就够了，worker向master发送GetTask()请求分配一个任务。

// Args用来告知master任务完成了
type GetTaskArgs struct {
   
	Phase	jobPhase
	TaskNumber	int
}
// Reply是master分配任务给worker
type GetTaskReply struct {
   
	InFile
最低0.47元/天 解锁文章
颛顼子
关注
mit6.824 lab1 MapReduce
qq_36801317的博客
04-19 639
1. MapReduce的基本步骤 当用户程序调用MapReduce函数，下面的一系列操作发生：（根据MapReduce原论文） 在用户程序中的MapReduce库首先将输入文件分割成M片（一般每片16M至64M）。然后开启这个程序在机器集群中的许多副本（也就是在多个机器上用Map或者Reduce代码，执行不同的数据）。 在所有程序中，有一个master，剩下的是被master分配的worker。有M个Map任务和R个Reduce任务需要分配，master选择空闲的worker并且分配每一个节点一个Ma
MIT6.824 lab1 MapReduce 思路梳理
wwxy1995的博客
12-18 496
阅读下面的内容前请自己先本地运行go代码的环境配置好，并自己最好先大致过一遍MapReduce论文和实验说明文档（文档都在课程首页可以下载到）。 环境配置提示：一种方法是把6.824目录设置为$GOPATH；另一种方法是使用module的方式——在src目录下使用go mod init example.com/src生成mod文件（网址和路径自己取，只要最后一层目录是src即可），然后把src代码中所有import ../mr替换成import 网址/src/mr。 实验目标 实现一个简易版的mapr
6.824（2020春） Lab1：MapReduce
BLSpan的博客
06-17 1822
目录前言一、 概况代码结果总结 前言 本来不打算记录这个实验过程的，一是有点懒；二是没太多好说。后来还是耐着自己那膨胀的小性子，简单记录下这个实验。 一、 概况 本次的实验是6.824分布式课程提供的，其提供了主要的代码框架部分，我们需要做的就是理解MapReduce的原理，然后在框架内实现它。   整个实现的MapReduce框架和paper中差不多，一个Master结点用于协调，还有多个Worker结点，每个结点可以向Master请求Map任务或者Reduce任务。 note: （
6.824 ——lab1 MapReduce
weixin_48383957的博客
01-22 2069
设计方案说明 MapReduce 系统 MapReduce MapReduce 包含两种操作，Map 和 Reduce。 其中 Map 是按照用户定义的方式，将字符串（通常是文本内容）转化成一组键值对。这个操作虽然叫做 Map，但并不是一定是真正意义上的映射。转化出的键值对更应该叫做二元组，因为多个键值对可以有相同的 Key ，甚至可以 Key 和 Value 均相同。 Reduce 则是操作 Map 得到的键值对组。将其中 Key 相同键值对的全部 Value 按照用户定义的方式进行合并。 MapRedu
6.824 MapReduce lab1 2020(一）
csdn_kou的博客
02-22 1380
文章目录MIT 6.824 分布式系统 lab1：MapReduceNoteswordcount's MapReduce Model look likea simple sequential mapreduce implementation(mrsequential.go) MIT 6.824 分布式系统 lab1：MapReduce 文档 https://pdos.csail.mit.edu/6...
MIT 6.824 2020 分布式系统 Lab1 Mapreduce 实验思路和代码分析
哈哈哈哈哈
04-01 2884
2020 Lab1 Mapreduce一、流程图二、代码设计1.1 对象设计1.2 函数设计三、实例代码分析Master部分1.1 流程分析1.2 GetTask函数1.3 updateTask函数1.4 updateMaster函数worker部分2.1 入口函数：main/mrworker.go2.2 MapTask函数2.3 ReduceTask函数四、实验结果五、参考资料 一、流程图...
MIT 6.824 Lab1 MapReduce
weixin_46840831的博客
11-25 606
文章目录概述基本需求基本数据结构CoordinatorWorker具体功能Worker注册任务请求与执行宕机处理总结 概述 本文章主要讲述lab1的基本实现思路，具体的实验要求见MIT-Lab1 基本需求 一个Coordinator管理多个Worker，通过RPC进行通信 Worker向Corrdinator请求任务，Coordinator向Worker分配任务 Coordinator能够处理Worker Crash 基本数据结构 Coordinator type Coordinator stru
mit6.824-MapReduce概念及Lab1的实现
yaya的博客
03-28 1430
mit6.824分布式系统-MapReduce的概念和Lab1的实现
mit_6.824_2021_lab1_mapreduce
一把健
07-17 829
mit 6.824 2021 lab1 mapreduce lab1 mapreduce 实验：https://pdos.csail.mit.edu/6.824/labs/lab-mr.html 实验结果源码：https://github.com/SwordHarry/mit6.824 实验背景 mapreduce paper: https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/mapreduce-
6.824 Lab1 MapReduce解析与实现
qq_39871498的博客
06-09 432
MapReduce, 批处理的典型之一。主要思想即“分而治之”，将一大批数据（一个大任务）分成多个子任务，分别进行运算（同时）（map），再将运算结果合起来（reduce） master: 负责任务调度 mapper: 执行各个子任务，map运算 reducer: 执行结果汇总，reduce运算 例：在K/V的wordCount中，源数据为一个大文件，每个mapper负责一部分文件的count，m...
6.824 spring 2020 分布式系统课程 lab1-mapreduce(一)
草帽boy的博客
01-07 799
MIT的分布式系统 lab1作业 需要完成 master rpc 和 worker这三个文件 这个实验之间的数据都是在本地共享的file文件不需要传输 需要在本地目录存储 worker 所处理完的数据文件 以便于reduce读取处理 当worker 需要退出时 master可以发送一个信息给到 worker 然后退出 master 在完成任务后 应当表示自己已经做完任务然后结束整个程序 最后...
转:Google MapReduce中文版
weixin_30297281的博客
03-29 129
摘要 MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多满足上述处理模型的例子， 本论文将详细描述这个模型。 Ma...
MIT6.824 Lab1 MapReduce
Miracle_ma的专栏
04-17 481
lab1是在单机上实现mapreduce库，因为没有分布式环境，所以只能实现序列化操作和用并行操作代替分布式操作。 首先看一下流程，主函数在src/main/wc.go里，自己提供的map和reduce函数，这次做的主要是wordcount，所以map和reduce函数为： func mapF(filename string, contents string) []mapreduce.Ke...
6.824 MapReduce lab1 2020(二）
csdn_kou的博客
02-22 1059
The example of mrsequential.go [kou@python main]$ go run mrsequential.go wc.so pg*.txt 2020/02/22 21:20:31 cannot load plugin wc.so exit status 1 [kou@python main]$ more mr-out-0 A 509 ABOUT 2 ACT 8 ...
6.824 - Lab1:实现一个MapReduce
viskaz的博客
04-05 1815
Go 实现 MapReduce 最近看了6.824的论文：MapReduce:Simplified Data Processing on Large Cluster，并完成了lab1：用Go实现MapReduce。总的来说lab中的Mapreduce实现不是特别复杂，但是新学Go没多久，很多API调用都不会，直接上手写一个小的分布式系统，还是有点挑战。 lab 实现注意的点： 以下是实现过程中踩的一些小坑，记录下来： 受到论文的影响，一开始以为需要用client fork 出多个进程或者是使用Go的携程，
MIT6.824 2018 MapReduce lab1总结
wwxy1995的博客
12-25 265
什么是MapReduce 用自己的话来说，MapReduce是一种通用的分布式计算框架，只需要用户提供MapF函数，和RecudeF函数，不需要知道分布式底层原理，就能解决一些特定的问题。 因此这个实验就是来实现一个mini的MapReduce框架。 Introduction In this lab you'll build a MapReduce library as an introduction to programming in Go and to building fault ..
MIT 6.824-lab1
东东儿的博客
12-05 5660
最近正在学习6.824的课程，准备一边学习一边跟着做课设。新版的课设都是使用go来完成的，所以花了一周多的时间学习了一下go语言的使用。相对于C++，用go来做课设确实方便不少，有各种现成rpc库，序列化与反序列化的库，实现lab时能够让从繁琐的网络通信和IO中解脱出来，更关注分布式交互本身的逻辑。直接切入正题 1. mapreduce lab1是让设计一个简单的mapreduce框架。做之前需要先看一看mapreduce的论文。 mapreduce中文版 看完论文会对mapreduce有个大概的了解，即这
mit6.824 Lab 1
tailuzhecom的博客
09-19 445
Lab 1 lab code流程： 开启RPC Server 等待workers来注册 在schedule()中决定如何将tasks分配给workers,如何处理worker发生的错误 对map task调用doMap(),doMap()的动作为读取对应的文件，并对其中的内容调用map function，最后将生成的key/value pairs写到对应的中间文件中。 master调用doRed...
mit6.824-MapReduce的Lab1的实现
最新发布
05-22
MIT 6.824 课程的 Lab1 是关于 Map 的实现，这里单介绍一下实现过程。 MapReduce 是一种布式计算模型，它可以用来处理大规模数据集。MapReduce 的核心想是将数据划分为多个块，每个块都可以在不同的节点上并行处理，然后将结果合并在一起。 在 Lab1 中，我们需要实现 MapReduce 的基本功能，包括 Map 函数、Reduce 函数、分区函数、排序函数以及对作业的整体控制等。 首先，我们需要实现 Map 函数。Map 函数会读取输入文件，并将其解析成一系列键值对。对于每个键值对，Map 函数会将其传递给用户定义的 Map 函数，生成一些新的键值对。这些新的键值对会被分派到不同的 Reduce 任务中，进行进一步的处理。 接着，我们需要实现 Reduce 函数。Reduce 函数接收到所有具有相同键的键值对，并将它们合并成一个结果。Reduce 函数将结果写入输出文件。 然后，我们需要实现分区函数和排序函数。分区函数将 Map 函数生成的键值对映射到不同的 Reduce 任务中。排序函数将键值对按键进行排序，确保同一键的所有值都被传递给同一个 Reduce 任务。 最后，我们需要实现整个作业的控制逻辑。这包括读取输入文件、调用 Map 函数、分区、排序、调用 Reduce 函数以及写入输出文件。 Lab1 的实现可以使用 Go 语言、Python 或者其他编程语言。我们可以使用本地文件系统或者分布式文件系统（比如 HDFS）来存储输入和输出文件。 总体来说，Lab1 是一个比较简单的 MapReduce 实现，但它奠定了 MapReduce 的基础，为后续的 Lab 提供了良好的基础。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值