![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
分布式
文章平均质量分 94
后台-分布式
BLSxiaopanlaile
这个作者很懒,什么都没留下…
展开
-
关于分布式分片,你该知道的事儿
复制技术讨论的是将同一份数据拷贝到多个节点,每个节点保存相同的数据内容,以冗余来提高可靠性。而数据库分片是和水平分表(将一个表里的行拆分成不同的表)有着一定关系的一种数据拆分方式,它讨论的是将数据进行划分(也有点类似于水平划分),划分的小块叫做逻辑分片(logical shards),然后分配到不同的节点(也做叫物理分片,physical shards)上去,这样每个节点负责处理一部分数据,可以达到提高读写性能的目的。为了避免混淆,下文中把逻辑分片称作分片,物理分片叫做物理节点。原创 2024-03-12 21:06:51 · 825 阅读 · 0 评论 -
论文笔记:Dynamo: Amazon’s Highly Available Key-value Store (下)
Dynamo: Amazon’s Highly Available Key-value Store (下)前言六、Implementation七、Experiences & Lessons Learned八、Conclusion参考前言这篇博文是上一篇博文的后续部分。重点大都在上篇中,为了完整性,这篇主要简单收个尾。六、Implementation这个部分简要介绍了一点实现的细节部分。说的是每个存储结点主要包括三个主要的组件:本地持久化存储引擎(local persistence en原创 2021-12-25 15:54:44 · 685 阅读 · 0 评论 -
Cassandra - A Decentralized Structured Storage System 论文总结
Cassandra 论文总结前言一、Overview二、Data Model二、Partitioning三、Replication四、Consistency五、Persistence参考前言 前段时间写了一篇关于Dynamo 的论文笔记。最近两天看了看何其不少类似的Cassandra 论文,在此做个总结。希望可以便人便己。ps:因为这篇论文内容比较少,而且很多知识和Dynamo略有重复。所以大体的框架将不再采用和论文条目一样的格式,而是采用总结对比的形式,阐述重点内容。一、Overview原创 2022-01-02 11:09:49 · 13125 阅读 · 2 评论 -
论文笔记:Dynamo: Amazon’s Highly Available Key-value Store (上)
论文笔记:Dynamo: Amazon’s Highly Available Key-value Store (上)前言一、Abstract二、Introduction三、Background3.1 System Assumptions and Requirements3.2 Service Level Agreement (SLA)3.3 Design Considerations四、Related Work4.1 Peer to Peer System4.2 Distributed FIle Syste原创 2021-12-13 22:10:23 · 633 阅读 · 0 评论 -
Spanner: Google’s Globally-Distributed Database 总结
Spanner总结一、前言二、关于框架三、关于数据模型四、关于时间五、关于并发控制一、前言二、关于框架三、关于数据模型四、关于时间五、关于并发控制原创 2020-10-14 15:36:04 · 1357 阅读 · 1 评论 -
MapReduce总结笔记
MapReduce总结笔记前言MR OverviewExample: WordCountFault toleranceworker failuremaster failuresemantics in the presence of failures其他Performancenetworkgood load balanceOthersshuffleadvantage and limitadvantegelimits前言学习分布式课程也有段时间了,学了不少东西,但总感觉还有些乱,不成体系,没有系统。可能是因原创 2020-07-16 12:41:43 · 494 阅读 · 0 评论 -
总结:Frangipani: A Scalable Distributed File System
Frangipani: A Scalable Distributed File System前言一、总体架构二、三个重要的问题2.1问题的引入2.2 cache coherence前言这两天在准备考试的间隙,看了6.824课程的这篇论文。可能由于刚来学校的缘故吧,还没完全掌握好节奏, 这篇论文看的不是很仔细,没有悟出很多“point”,但为了“输入必有输出”,这里就按照课程中的重点稍微总结下,以后有机会再认真研究吧。一、总体架构Frangipani是一个建立在petal之上的分布式文件系统,整个系统原创 2020-09-01 22:18:46 · 713 阅读 · 5 评论 -
Amazon Aurora 总结
Aurora前言一、论文框架二、Abstract三、Introduction四、Durability At Scale4.1 、复制及相关失败处理(Replication and Correlated Failures)4.2、段存储(segmented storage)4.3、弹性的运维优势(Operational Advantages of Resilience)五、The Log is The Database5.1 传统的Mysql主备系统在AWS上的工作模式5.2 Aurora 的改进架构5.3原创 2020-08-11 22:04:23 · 3104 阅读 · 0 评论 -
GFS论文总结(上)
GFS论文总结上前言一、Overview1.1 设计背景(假设)1.2 架构1.3 读操作1.4 写操作二、Master Opration2.1 命名空间管理和锁机制2.2 Repica的存储、创建、以及均衡2.3 垃圾回收2.4 过期 replica 检测前言半年多假期的的日子马上就要结束了,马上要返校干活了。趁这个周末把GFS论文总结了,回校之后可能就没太多时间了。整个论文的知识框图如下所示,下面也基本按照这个流程进行总结。一、Overview1.1 设计背景(假设)gfs的提出是建立在一原创 2020-07-18 11:28:43 · 753 阅读 · 0 评论 -
CRAQ 论文总结
CRAQ论文总结前言一、概述二、总结前言今天粗看了CRAQ这篇论文,有些小感悟,总结在此,便人便己。一、概述这篇论文主要讲的是链式复制(chain replication),或者说更准确些,是对链式复制的改进。和raft、paxo一致性算法中的副本复制不同,链式复制在副本复制的时候是按照一个顺序进行复制。如下图所示。对于CR系统来说,所有的写操作都是从Head结点开始,然后依次往下传递,直到最后的Tail结点,然后在依次返回。 所有的读操作则由Tail结点负责。可以看出,对于链式复制来说,其过原创 2020-08-04 17:57:37 · 732 阅读 · 1 评论 -
GFS论文总结(下)
GFS论文总结(下)前言三、Fault Tolerance3.1 高可用性3.2 数据完整性四、Consistancy Model五、总结前言上一篇博客中总结了gfs一部分内容,剩下的一致性模型和容错性机制在这篇博客中结束三、Fault ToleranceGFS的容错性主要是通过以下几个机制实现的。这部分没有什么好说的,简单记录如下。3.1 高可用性这部分主要包括(1)、快速恢复:Master和Chunk服务器宕机之后都可以在数秒中恢复其状态(2)、Chunk 复制:每个chunk多个备份原创 2020-07-18 16:19:11 · 565 阅读 · 0 评论