分布式系统
rsy56640
学生
展开
-
Rethinking Multi-Master Database with Poset Logging
有了一些初步的想法,但是现在先不急着给出方案。。。关键我也不知道能不能成本文可能更新若干年,也有可能鸽了原创 2019-12-14 22:56:35 · 1369 阅读 · 0 评论 -
Percolator 论文阅读笔记
Large-scale incremental processing using distributed transactions and notifications 论文阅读笔记主要有2点:事务提交细节(lock列,write列),相当于用 SI+锁 实现一致性(注意 Write Skew)2PC 细节,故障恢复需求:海量数据,随机读写,跨行事务(强一致性),高吞吐量,延迟无所谓为...原创 2019-05-19 15:16:33 · 2886 阅读 · 0 评论 -
mit6.824 Lab2: Raft
项目地址:https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learningLab 2A: Raft leader election代码可以在 commit 记录中找到说实话体验不是很好,我看网上很多人到 lab2就不做了,之前以为是有难度,但其实不然。主要问题在于,它给了 c...原创 2019-04-18 23:26:19 · 1303 阅读 · 0 评论 -
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记特点:高可靠、高可用、粗粒度锁服务、小文件存储主要用于高可用的集群配置管理和系统元数据GFS:使用 Chubby lock 任命 master serverBigtable选举 mastermaster 轮询获得下面的 serverclien...原创 2019-05-02 22:06:11 · 3873 阅读 · 0 评论 -
Spanner 论文阅读笔记
Spanner: Google’s globally-distributed database 论文阅读笔记重点就是如何用 TrueTime 做 MVCC介绍分布式多版本数据库:(key, timestamp) -> row外部一致性:第一个事务提交后,第二个事务开始,那么第二个事务提交时间戳一定大于第一个事务提交时间戳实现placement driver:定期与 s...原创 2019-04-27 22:53:35 · 1869 阅读 · 0 评论 -
Bigtable 论文阅读笔记
Bigtable: a distributed storage system for structured data 论文阅读笔记数据模型(row: string, column: string, timestamp: int64) -> string对 row 的单个操作是原子的,将 row 按照 key 排序,一个 row range 作为一个 tablet,即若干个 SSTabl...原创 2019-04-22 23:12:22 · 588 阅读 · 0 评论 -
ZooKeeper: wait-free coordination for internet-scale systems 论文阅读笔记
ZooKeeper: wait-free coordination for internet-scale systems 论文阅读笔记有些表述绕来绕去,似乎也没什么内容个人感觉就2点:leader 把写请求转换成幂等的写事务leader 广播写事务的通道是 FIFO 的特征client 请求(大多是读)对同一 client 的请求是 FIFO 执行的写请求由 leade...原创 2019-04-26 14:42:10 · 814 阅读 · 0 评论 -
Spinnaker 论文阅读笔记
Using Paxos to build a scalable, consistent, and highly available datastore 阅读笔记简介所有 server 都在一个 data center,Network Partition 比较罕见,所以选择 CA 模型按 key 分区(shard),每一个 key range 有3个副本,放到3个 server 上提供 k...原创 2019-04-22 10:07:44 · 510 阅读 · 0 评论 -
Raft 论文阅读笔记
In Search of an Understandable Consensus Algorithm (Extended Version) 阅读笔记Replicated State Machinereplicate log 来达成确定性状态机共识算法需要保证 replicated log 一致性。Paxos的问题难以理解,难以实现。Paxos 让每个 instance 独立,所以还需...原创 2019-04-08 23:51:55 · 657 阅读 · 0 评论 -
最近在做的3件事
我发现一下子想学很多东西是不现实的。。于是就把精力放在几件事上了。最近主要干3件事:mit6.824学习记录:https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning论文阅读:https://github.com/rsy56640/paper-reading/tre...原创 2019-04-08 23:13:58 · 287 阅读 · 0 评论 -
mit6.824 第一次学习笔记(持续更新)
第一次过mit6.824,功利性比较强,有些拓展阅读之后再补。。。github 地址:https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning持续更新...原创 2019-03-28 14:35:49 · 2687 阅读 · 0 评论 -
The design of a practical system for fault-tolerant virtual machines 阅读笔记
The design of a practical system for fault-tolerant virtual machines 阅读笔记介绍容错思路是 primary / backup,那么就保证两者尽可能同步就好,但是同步内存和IO等操作消耗巨大,所以转变思路:假设 primary / backup 初始状态相同,那么只需要同步状态迁移操作即可。(为了达成这么nice的prope...原创 2019-03-28 12:02:38 · 716 阅读 · 0 评论 -
分布式计算 ——原理、算法与系统(Distributed Computing —— Principles, Algorithms, and System)读书笔记 持续更新
分布式计算 ——原理、算法与系统Distributed Computing —— Principles, Algorithms, and System不定期更新 第一章 引言第二章 分布式计算模型 第一章 引言分布式系统:处理器、存储器、通信网络1.4 与并行多处理器/多计算机系统的关系并行系统:通过将计算任务在多个处理器之间进行分配,从而获得...原创 2019-04-04 13:29:08 · 7186 阅读 · 1 评论 -
The Google File System 论文阅读笔记
首发于:https://github.com/rsy56640/paper-reading/tree/master/分布式/GFSThe Google File System 论文阅读笔记这篇看得我非常难受,很多 trade-off 我一个学生根本无法体会,也就跟着意思意思罢了。补:没代码也没具体算法,,说个鬼。。。我个人还是喜欢比较偏数学的算法一点。。。背景机器廉价,failu...原创 2019-03-25 19:44:07 · 358 阅读 · 0 评论 -
mit6.824 Lab1
github 地址:https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning/6.824/src不难,但是对windows很不友好,,完全不能测试,还得搬到腾讯服务器上面,累成狗。。。有几个坑,记录一下命令行参数 “*” 在windows上没用Go还不熟练,容器的ca...原创 2019-03-21 11:28:33 · 519 阅读 · 0 评论 -
MapReduce 论文阅读笔记
首发于 https://github.com/rsy56640/paper-reading/tree/master/分布式/MapReduceMapReduce: Simplified Data Processing on Large Clusters 论文阅读笔记Map: (k1, v1) -> list(k2, v2)Shuffle: list(k2, v2) -> (k...原创 2019-03-21 11:25:41 · 611 阅读 · 1 评论