MIT distributed system
学不会K8S不改ID
一切如愿!
展开
-
MIT Distributed Systems 课程笔记4(Primary/Backup Replication)
Replication可以处理哪些类型的故障?单个副本的“故障停止”故障如:风扇停止工作,CPU 过热并自行关闭有人被副本电源线或网线绊倒软件发现磁盘空间不足并停止也许不是硬件缺陷或软件错误或人为配置错误地震或全市停电怎么样?让副本在物理上分开存储。两种主要的复制方法:状态转移主副本执行服务,主要将 [新] 状态发送到备份复制状态机客户端将操作发送到主节点,主序列并发送到备份所有副本执行所有操作如果相同的开始状态,相同的操作,同样的顺序,确定性的,然后相同的结束状态。原创 2021-10-04 16:07:04 · 181 阅读 · 0 评论 -
MIT Distributed Systems 课程笔记3(GFS)
为什么分布式存储很难?高性能 -> 在多台服务器上分片数据许多服务器 -> 不断出现故障容错 -> 复制复制 -> 潜在的不一致更好的一致性 -> 低性能我们想要什么来保持一致性?理想模型:与单个服务器相同的行为服务器使用磁盘存储服务器一次执行一个客户端操作(即使是并发的)读取反映以前的写入客户端C想要读取文件的步骤是什么?C 向主 M 发送文件名和偏移量(如果没有缓存)M 找到该偏移量的块句柄M 回复包含块服务器列表,只有最新版本的C缓原创 2021-10-04 10:01:47 · 140 阅读 · 0 评论 -
MIT Distributed Systems 课程笔记2(RPC and threads)
RPC and threads使用go语言来表现线程和RPCWhy use go?良好的线程支持方便的 RPC类型安全垃圾回收机制编程相对简单Why use thread?表达了并发性,在分布式系统中需要I/O 并发性多核,性能高方便Threading challenges共享数据的存贮在线程之间共享可变数据的协调死锁网络爬虫实例目标是获取所有网页,例如提供给索引器Crawler challenges利用 I/O 并发获取每个 URL 只获取一次需要原创 2021-09-28 10:35:13 · 162 阅读 · 0 评论 -
MIT Distributed Systems 课程笔记1(Introduction)
IntroductionWhat is a distributed system?多台电脑合作完成大规模数据集运算,如:MapReduce,点对点共享许多设施是分布式的Why do people build distributed systems?通过多线程并行操作,提高性能通过生成副本,避免文件丢失可以将计算放在离外部实体更近的地方通过隔离增加系统的安全外部实体:指系统以外,又和系统有联系的人或事物,它说明了数据的外部来源和去处,属于系统的外部和系统的界面。Topicfa原创 2021-09-27 11:05:48 · 270 阅读 · 0 评论