分布式系统
文章平均质量分 94
探索分布式系统的相关技术原理
LG.田猿
Stay foolish
展开
-
The Log-Structured Merge-Tree (LSM-Tree) 论文阅读笔记
LSM-Tree(Log-Structured Merge-Tree)是一种为高吞吐量读写操作优化的数据结构,特别适用于写入密集型的应用场景。它由Patrick O’Neil等人开发,旨在提供一种低成本的索引方法,以处理大量记录插入和删除的操作。目的:LSM-Tree是为了解决传统磁盘索引结构(如B树)在处理高比例插入和删除操作时遇到的性能问题。应用场景:适用于那些插入操作远比查找操作频繁的场景(写多读少),如历史表(History tables)和日志文件(log files)。设计原则。原创 2024-04-26 14:40:47 · 1089 阅读 · 0 评论 -
QFS [VLDB‘13] 论文阅读笔记
QFS(Quantcast File System)是由Quantcast开发的一个高效、可扩展的分布式文件系统,旨在提供与Hadoop分布式文件系统(HDFS)兼容的替代方案。QFS是用C++编写的,并且与Hadoop MapReduce插件兼容。它相对于HDFS提供了多项效率改进,包括通过纠删码机制而不是副本策略来节省50%的磁盘空间,写入吞吐量提高一倍,更快的名字节点,支持通过并发追加特性进行更快的排序和日志记录,比hadoop fs。原创 2024-04-16 21:25:46 · 2034 阅读 · 0 评论 -
Ceph [OSDI‘06]论文阅读笔记
Ceph是一个高性能、可扩展的分布式文件系统,旨在提供出色的性能、可靠性和可扩展性。为了最大化数据和元数据管理的分离,它使用了一种称为CRUSH(Controlled Replication Under Scalable Hashing)的伪随机数据分布函数(为异构且动态的不可靠对象存储设备(OSDs)集群设计的)。Ceph利用设备智能,将数据复制、故障检测和恢复分布到半自治的OSDs上,这些OSDs运行一个专门的本地对象文件系统。原创 2024-04-14 19:30:55 · 822 阅读 · 0 评论 -
HDFS [MSST‘10] 论文阅读笔记
如果硬限制到期(一小时),并且客户端未能续订租约,HDFS假定客户端已退出,并代表写入者自动关闭文件并回收租约。然而,为了支持像SCRIBE这样的应用程序,它们提供实时数据流到HDFS,或者HBase这样提供对大型表的随机、实时访问,已经做了很多努力来提高读写响应时间。关闭文件时,租约将被撤销。当需要新块时,NameNode分配一个具有唯一块ID的块,并确定一个DataNode列表来托管该块的副本。Hadoop的重要特点:数据的分割、横跨成千上万个主机的计算、在接近数据的地方并行执行应用程序的计算。原创 2024-04-09 20:49:32 · 1051 阅读 · 0 评论 -
Bigtable [OSDI‘06] 论文阅读笔记
Bigtable是一个稀疏的、分布式的、持久的多维有序map,该map是基于row key、column key、timestamp三者建立索引的,map中的每个值都是一个未解释的字节数组。API主要包括创建、删除tables和column families的函数,以及修改cluster、table、column family元数据的函数。clients程序可以在Bigtable上进行写和删除操作,在单行上查询值以及遍历table的某个子集的数据。tablet 分裂或合并时,读或写操作是可以进行的。原创 2024-04-06 11:28:22 · 728 阅读 · 0 评论 -
MapReduce [OSDI‘04] 论文阅读笔记
原论文:MapReduce: Simplified Data Processing on Large Clusters (OSDI’04)1. Map and ReduceMap:处理键值对,生成一组中间键值对Reduce:合并与同一中间键相关的所有中间值process overview:分割输入数据,组织程序在一组机器上的执行,处理机器故障,以及管理所需的机器间的通信2. Introduction如何并行化计算、分发数据和处理故障等问题,使得原本简单的计算被大量复杂的代码所掩盖,无法原创 2024-04-03 17:34:00 · 1076 阅读 · 0 评论 -
The Google File System [SOSP‘03] 论文阅读笔记
在clients对某个 chunk 做出修改时,GFS 为了能够处理不同的并发修改,会把该 chunk 的 Lease 交给某个 replica,使其成为 primary,primary 会负责为这些修改安排一个执行顺序,然后其他 replica 便按照相同的顺序执行这些修改。在未超时前,primary 可以向 Master 申请延长 Chunk Lease 的时间,必要时 Master 也可以直接撤回已分配的 Chunk Lease。快照:Copy on Write。原创 2024-04-02 22:52:10 · 684 阅读 · 0 评论