MIT 6.824 lab distributed system 分布式系统（1）----lab1 MapReduce

已于 2023-06-04 20:18:16 修改
阅读量440 收藏
点赞数
分类专栏： 分布式系统 文章标签： java 开发语言
于 2023-06-03 22:46:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44609676/article/details/131021967
版权
文章探讨了为何需要分布式系统，主要关注其在实现高并发、硬件资源并行利用以及容错性方面的优势。MapReduce作为一种实现方式被详细阐述，用于统计单词出现次数和构建倒排索引。该框架中，Master节点负责任务分配，SplitWorker进行数据切分，而ReduceWorker执行聚合操作并将结果写入最终文件。
摘要由CSDN通过智能技术生成

https://youtu.be/cQP8WApzIQQ

概念

  • 为什么需要分布式系统？
    • high performance
    • parallelism：分布式系统可以实现CPU、内存、硬盘的并行运行
    • fault tolerance
    • physical：
    • security / isolated
  • 分布式系统的困难
    • concurrency：各个并行的部分之间的complex interactions以及各种时间依赖的事务
    • partial failures
    • high-performance

Implement

implementation

RPC（remote procedure call）、threads、concurrency control、etc.

performance
  • scalability:

lab1----MapReduce

MapReduce的工作原理

统计单词出现次数

在这里插入图片描述

建立倒排索引

在这里插入图片描述

MapReduce的架构
  • master做为用户的代理做一些特殊的工作：如给split worker分配数据，让reduce worker去拿切分好的数据等。解放用户
  • 每个split worker在本地将数据切分开放在本地的缓存或硬盘上
  • reduce worker拿到split的结果之后，在本地做完reduce，将结果写到最终的文件final file

请添加图片描述

back2childhood
关注
专栏目录
MIT6.824-Distributed-System:《分布式系统》
03-11
MIT6.824分布式系统 分布式计算机系统工程实践 实验任务 1 [实验1任务1：实现Map和Reduce统计文件中单词出现的次数] 2 [实验1任务2：分发Map和Reduce任务] 3 [实验1任务3：处理Worker故障] 4 [实验2任务1：View...
MIT6.824_DistributedSystem:MIT6.824分布式系统（2018秋）
03-11
MIT6.824分布式系统记录，包括论文阅读笔记，讲座阅读与翻译，实验室实验。实验室 实验1：MapReduce Lab2：木筏 第2A部分： 第2B部分： 第2C部分： 实验3：KVServer 第3A部分：
distributed-system-design-lab:分布式系统设计课程的作业
05-18
分布式系统设计课程作业按随机间隔产生20个0/1随机数基础程序控制程序无线局域网支持下的主机间C/S模式进程通信广播模型单播模型无线局域网支持下的主机间进程通信:P2P模式使用延迟通道的资源转移系统的总量统计尝试...
MIT-6.824-Distributed-Systems:2018年Spring课程学习资料汇总
03-11
《MIT-6.824 分布式系统：2018春季课程学习资料》是麻省理工学院（MIT）开设的一门高级计算机科学课程，专注于分布式系统的理论与实践。这个资源包包含了该课程的全部学习材料，为学生和专业人士提供了一个深入理解...
distributed-system:分布式系统学习-主要参考MIT课程《分布式系统》
03-11
分布式系统 分布式系统学习 今天2018.03.01准备开始重启2018...mit目录下是：mit的6.824《分布式系统》课程 etcd-raft：是基于etcd-raft的一个简单的k / v系统，包含一些代码注释，一个代码走读的地址： ： ： ：
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 891
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
JDK1.0主要特性
FoolRabbit的专栏
10-06 289
JDK1.0主要特性。
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 491
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Spring依赖注入和注解驱动详解和案例示范
J老熊
10-01 1001
在 Spring 框架中，依赖注入（Dependency Injection, DI）和注解驱动（Annotation-Driven）是其核心机制，它们为 Spring 应用提供了灵活性和可扩展性。依赖注入简化了对象间的依赖管理，而注解驱动则通过简洁的注解配置取代了繁琐的 XML 配置。本文将详细分析这两个机制，并通过示例加深理解。
字符函数和字符串函数和内存函数
Java_fenxiang的博客
10-05 634
strtok函数原型与功能概述在 C 语言中，strtok函数的原型为char *strtok(char *str, const char *delim)。它的主要功能是将字符串str按照delim中指定的分隔符进行分割，返回被分割出来的子字符串。工作原理首次调用：当第一次调用strtok时，需要将待分割的字符串str作为...
Springboot人才求职招聘系统源码（前台+后台）
最新发布
10-06 462
项目技术：springboot运行环境：jdk1.8+idea/eclipse+maven3+mysql5.6。
【开源免费】基于SpringBoot+Vue.JS校园资料分享平台（JAVA毕业设计）
customer08的博客
09-30 1554
校园资料分享平台是一个B/S模式系统，采用Spring Boot框架作为开发技术，MYSQL数据库设计开发，充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得校园资料分享平台管理工作系统化、规范化。
Java内存布局
阿呆的专栏
10-01 827
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
Java中的break、continue和return语句
weixin_73230994的博客
10-05 358
break语句用于终止某个语句块的执行，一般使用在switch或者循环【for, while ,do-while】（提前退出或结束循环不是终止程序）1.continue语句用于结束本次循环，继续执行下一次循环2.continue语句出现在多层嵌套的循环语句体中时，可以通过标签指明要跳过的是哪一层循环，这个和前面的标签的使用规则一样。
【RocketMQ】RocketMQ应用难点
记录一名在读研究生的学习笔记、感悟、开发产物
09-30 938
本文探讨了RocketMQ中消息重复消费的问题及其解决方案，尤其是在CLUSTERING模式下的扩容影响。文章分析了重复消费的原因，如广播模式、负载均衡模式下的多consumerGroup消费、消费者组内的动态变化及网络延迟等，并提出了利用唯一标识进行去重的方法。此外，还讨论了如何选择合适的存储机制以高效处理大量消息标识，如HashMap、MySQL、Redis以及推荐的布隆过滤器等方案。对于防止消息堆积与确保消息不丢失，也给出了相应的策略和技术措施。
11.2 Linux_线程_同步与互斥
Fresh_man111的博客
10-03 186
同一时刻只允许一个任务访问的共享资源。比如写入文件，就是一个临界资源，当写入文件时，不允许两个任务同时往里面写。如果A写入abc，B写入def，同时写的情况下文件中的值不一定为abcdef，这时就需要在某一时刻只允许A写入abc，在另一时刻只允许B写入def。
【hot100-java】【合并两个有序链表】
m0_73629042的博客
09-30 402
记忆中，两个指针合并即可。
SpringBoot线程问题
juanmiao的专栏
10-04 493
程序，线程，线程池进程是资源分配最小单位，线程是程序执行的最小单位。计算机在执行程序时，会为程序创建相应的进程，进行资源分配时，是以进程为单位进行相应的分配，每个进程都有相应的线程，在执行程序是，实际上是执行相应的一系列线程。线程：程序执行流的最小执行单位，是行程中实际运作单位，经常容易和进程这个概念混淆简单来说，一个应用程序的运行就可以被看做是一个进程。是运行中实际的执行任务者，可以说，进程中包含了多个可以同时运行的线程。线程的生命周期。
Python并发编程(1)——Python并发编程的几种实现方式
一点
10-03 1060
Python 并发编程是指在 Python 中编写能够同时执行多个任务的程序。并发编程在任何一门语言当中都是比较难的，因为会涉及各种各样的问题，在Python当中也不例外。Python 提供了多种方式来实现并发，包括多线程（threading）、多进程（multiprocessing）、异步编程（asyncio），以及一些高级用法concurrent.futures和第三方库如gevent。
mit 6.824 分布式系统
06-09
MIT 6.824 是麻省理工学院的一门高级课程，全称为 "Distributed Systems"（分布式系统），它通常会在计算机科学和工程领域中教授。这门课程深入探讨了分布式计算环境中的核心概念和技术，包括： 1. **分布式计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值