笔记 MIT6.824 Lecture 13: Spanner

最新推荐文章于 2023-03-12 21:58:25 发布
最新推荐文章于 2023-03-12 21:58:25 发布
阅读量335 收藏
点赞数
分类专栏： 课堂笔记 6.824
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Joshmo/article/details/110311488
版权

目录

前言

这个是在讨论了了Two Phase Commit(TPC)之后，Google的一个practice，应用了Paxos以及TPC来实现分布式事务，在一定程度上解决了TPC带来的速度问题

一、Spanner

1.1

系统overview
在这里插入图片描述
通过Paxos来管理replication，每个Shard一个paxos group，也就是说每个shard一个server，然后replicas是分布在不同的区域的

why通过paxos？

  1. sharding可以满足更大的throughput
  2. datacenters fail independently
  3. clients can read local replica - fast
  4. paxos 只需要majority - tolerate slow/distant replicas

1.2 Big challenges

  1. 想读local的数据，但是由于paxos(Raft)的关系，local数据不一定是最新的
  2. Transaction involves in multiple shards
    解决这些挑战的时候导致了读写使用了不同的策略
最低0.47元/天 解锁文章
MIT6.824 Lec13 Spanner
weixin_46840831的博客
05-25 265
文章目录SpannerRead-Write Transaction Spanner Spanner的架构设计如下图所示。 采取这种设计原则的好处： Sharding allows huge total throughput via parallelism Datacenters fail independently – different cities. Clients can read local replica – fast! Can place replicas near relevant cus
笔记 MIT6.824 Lecture 17: COPS, Causal Consistency
Bokk的博客
12-01 387
目录前言一、geo-replication1.1 Spanner1.2 Memchche1.3 新的需求二、预备方案One三、预备方案Two四、COPS五、limitations总结 前言 主要讲了有一定consistency保证的情况下有很不错性能的DB方案Causal Consistency, 其中notion of dependency一定程度上解决了写在不同servers上异步的特点 一、geo-replication 1.1 Spanner – 通过Paxos保证强consistency – T
6.824-lecture13
qq_34673038的博客
05-10 209
6.824 讲座13：Naiad案例研究 Naiad：及时的数据流系统 默里，麦克谢里，以撒，艾萨德，巴勒姆，阿巴迪 SOSP 2013 如今：流和增量计算 案例研究：Naiad 我们为什么要读《 Naiad》？ 优雅的设计 令人印象深刻的表现 开源且仍在开发中 总结：Spark提高了迭代计算的性能 即，一次又一次使用相同数据的数据 但是如果输入数据发生变化怎么办？ 可能会发生，例如因为搜寻器更新页面（新链接） 或因为应用程序将新记录追加到日志文件 实际上，Spark（如上一课的论文一样）必须重新开始！ 即
MIT6.824 Lecture14 Spanner
最新发布
m0_63691156的博客
03-12 102
个人学习
MIT6.824 Spanner论文精读
weixin_46840831的博客
05-23 657
文章目录IntroductionImplementationSpanserver Software StackDirectories and Placement Introduction Spanner是Google的全球分布式数据库，它主要具有以下特点： 可细粒度动态控制数据副本的配置，包括数据的分片方式，数据的迁移等。 读和写操作的外部一致性 一个时间戳下跨数据库的全球一致性读 Spanner能提供全球范围内的有序事务提交时间戳，而这个功能基于TrueTime API及其实现。 Implementa
6.824：Spanner详解
MarksSa的博客
01-12 457
mit 6.824课程对Spanner论文的详解，个人的听课笔记，以及个人理解。
MIt6.824 lecture2 RPC and Threads
reborn_f的博客
10-18 235
内容 1 了解golang 中的rpc 和 rpc 1 为什么使用go进行教学 go 中有 goroutine，更容易使用的并发机制 更加方便使用的 RPC 类型安全 提供 GC 机制 相比于 c++, golang 更加简单易用 golang 中的 goroutine 并发对分布式编程是十分重要的，并且 go 的 goroutine 是十分简单易用的。 稍微了解 go 的都知道其实 goroutine 是建立在系统线程上的一种机制，更加轻便，快速切换。 使用 thread 的原因 ...
笔记 MIT6.824 Lecture 18: Fork Consistency, Certificate Transparency
Bokk的博客
12-01 367
目录前言一、before certificates二、certificates三、Certificate Transparency (CT)3.1 how does Certificate Transparency (CT) approach this problem?四、Merkle Tree五、总结 前言 讲了证书透明度，通过audit增强认证。 参考链接 证书透明度 什么是证书透明度 一、before certificates 容易有网络攻击 DNS isn’t very secure, can f
6.824-lecture-notes:6.824分布式系统
03-11
分布式系统工程笔记（6.824，2015年Spring） 讲课 6.824讲义。 这些讲义与6.824上的讲义略有修改。 第1讲：：分布式系统定义，动机，体系结构，实现，性能，容错，一致性，MapReduce 第2： ：RPC概述，编组，绑定...
6.824 2020 Lecture 13: Spanner
学习，学习，学习
07-24 253
6.824 2020 Lecture 13: Spanner 为什么写事务的读锁不用replicate，而写锁需要replicate？ 读锁不阻止其他人读，只是阻止改。因为只有leader自己可以改，follower不能改，所以不用replicate，leader管好自己就行了。 写锁是阻止读和写。因为follower处也是可以读的。你要开始改数据了，不希望别人读到中间结果，就要加写锁。不只是禁止从leader读，同时也禁止follower读，所以写锁必须replicate。 这里以收到PREPARE的时
6.824 2020春 论文阅读 spanner
passenger12234的博客
02-24 151
0. prelude 写了两篇之后我发现自己的懒癌又犯了，尝试接下来的博客用英语来记录的课程内容，算是对一种对继续写的激励吧…orz 1. Overview design Spanner is a semi-relational and globally distributed database with strong consistency and support of distributed transaction. Figure 1 is a deployment instance of Spann
6.824 Amazon Aurora云数据库
学习，学习，学习
07-25 375
课程讲义：https://pdos.csail.mit.edu/6.824/notes/l-aurora.txt FAQ：https://pdos.csail.mit.edu/6.824/papers/aurora-faq.txt Amazon Aurora 一、名词解释 AWS的概念： 名词 解释 EC2 通用虚拟机。很适合运行网页服务器。不太适合在上面运行数据库——不容易scale、不容错。 S3 大容量存储器。可以用来做数据库的定期备份用。 EBS 不是EC2上本机的磁盘，但是
2020 MIT 6.824 分布式系统课程
热门推荐
DataFlow范式
02-26 1万+
MIT 6.824，笔者在几年前刷完了一遍，过程还是相当折磨人的，但受益颇多。如今已是 2020 年了，这个特殊的一年，笔者想和大家一起拿起小板凳，准备好笔记本，再来完整地学习 MIT ...
MIT6.824-2012——从零开始写一个分布式文件系统yfs
westbrookliu的博客
01-02 1304
yfsCpp11 yfs是一个分布式文件系统 https://github.com/liu-jianhao/yfsCpp11 https://pdos.csail.mit.edu/archive/6.824-2012/labs/index.html lab1-lab7小结 lab1：实现锁服务器 Q&A 锁服务器有什么用？ yfs是一个分布式文件系统，客户端通过网络与服务器通信，那要怎么...
2020 6.824 的 Raft Lab 2C
Bokk的博客
11-25 1366
目录前言一、Raft2C二、Persist()2.1 实现2.2 调用三、优化总结 前言 做2020的MIT6.824，完成了实验Raft Lab2C，对于之前的两个实验请参考2020 6.824 的 Raft Lab 2A 以及2020 6.824 的 Raft Lab 2B 这个实验的重点在于实现persist()以及做优化。总的来说代码量比Lab2B要少，又沿用Lab2A已经搭好的框架，所以整体会比前两个实验简单一些 这个实验的坑是TestFigure8Unreliable2C，这里有相关的讨论可以根
2020 6.824 的 Raft Lab 3B
Bokk的博客
12-25 1350
目录前言一、Overview1.1 流程图 前言 做2020的MIT6.824，完成了实验Raft Lab3B，通过了测试，对于之前的Raft实现的实验请参考Raft Lab 2A， Raft Lab 2B 和 Raft Lab 2C 以及Raft3A Lab3B主要需要完成日志压缩的需求，以保证实用性以及性能上的需求。总的来说，这个实验需要改进的地方很多，尤其是我的代码其实之前一直上从index=0开始的，到这个实验卡壳才发现index=1，于是又修改了之前的Raft代码，然后才逐渐实现日志压缩的需求的。
2020 6.824 的 Raft Lab 2B
Bokk的博客
11-21 1332
目录前言一、Raft2B二、SendHeartbeat2.1 框架2.2、发送部分的AppendEntriesArgs2.3、接收部分的处理2.3.1 成功处理2.3.2 失败处理2.4、最后, SendHeartbeat的实现如下三、 AppendEntries3.1 整体框架3.2 日志对比3.3 日志保存3.4 跟新commitIndex3.5 最后, AppendEntries的实现如下四、 其他一些相关修改4.1 start4.2 RequestVote跟新4.3 ApplyLog总结 前言 做
2020 6.824 的 Raft Lab 2A
Bokk的博客
10-26 1182
目录前言一、Raft流程struct二、选举实现三、心跳实现总结 前言 做2020的MIT6.824，刚刚开始了第二个实验，是Raft 2A，这个实验是实现不带log的leader election以及heartbeat，花了很多时间在理解paper上面，然后花了很多时间在debug上面。这个实验如果理解了Raft要干什么的话，难点就是避免deadlock。下面有几个链接对我的实验很有帮助，可以参考 MIT对go/raft讲解的lecture 并行运行测试大shellscript ##每5个test并行
2020 6.824 的 Raft Lab 3A
Bokk的博客
12-11 1112
目录前言一、Key/value Service1.1 流程图二、client1.1 arguments1.2 client属性1.3 client的Get/PutAppend请求三、Server1.1 server中的Operation Op1.2 server的属性1.3 kv.Get1.4 kv.PutAppend1.5 kv.getChannel1.6 StartKVServer1.7 kv.serverMonitor总结 前言 做2020的MIT6.824，完成了实验Raft Lab3A，通过了测试
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值