分布式论文
文章平均质量分 94
翻译经典、前沿的分布式论文
Tyler_Zx
只有足够的努力,才能让一切看起来都毫不费力!
展开
-
TiDB:基于 Raft 的 HTAP 数据库
基于Raft的HTAP数据库:TiDB。在数据库中设计了一个由行存储和列存储组成的Multi-Raft存储系统。行存储是基于Raft算法构建的。它是可伸缩的,可以从具有高可用性的事务请求实现更新。特别是,它异步复制Raft日志到learners,learners将元组的行格式转换为列格式,形成一个实时可更新的列存储。这个列存储允许分析查询高效地读取一致的新数据,与行存储上的事务有很强的隔离。翻译 2022-11-13 23:01:13 · 1489 阅读 · 0 评论 -
Faster:一个高效就地更新的并发键值存储
本文介绍Faster,一种为点读,盲更新和read-modify-write 操作设计的键值存储。Faster 将高度缓存优化的并发哈希索引与混合日志(Hybridlog)相结合:一种跨越内存和磁盘的并发日志结构的记录存储(a concurrent log-structured recordstore that spans main memory and storage),同时支持内存中热点数据的就地更新。实验表明,与目前广泛部署的系统相比,Faster提高了数个数量级的吞吐量(单台机器上每秒高达...翻译 2022-08-20 21:27:23 · 1410 阅读 · 0 评论 -
Paxos Made Simple 中文翻译
业界一般将 Lamport 论文里最初提出的分布式算法称之为 Basic Paxos,这是 Paxos 最基础的算法思想。翻译 2021-05-18 20:41:02 · 779 阅读 · 0 评论 -
Amazon Aurora:高吞吐量云原生关系数据库的设计考虑
亚马逊的Aurora 是一种关系数据库服务,用于作为亚马逊网络服务(AWS)的一部分提供的OLTP工作负载。在本文中,我们描述了Aurora 的架构和导致该架构的设计考虑。我们认为,高吞吐量数据处理的核心限制已经从计算和存储转移到网络。Aurora 为关系数据库带来了一种新的体系结构来解决这一限制,最显著的是通过将重做处理(redo processing)推送到为Aurora 专门构建的多租户横向扩展(multi-tenant scale-out)存储服务。我们描述了这样做不仅可以减少网络流量,还翻译 2020-12-30 22:42:20 · 3324 阅读 · 0 评论 -
Dynamo:亚马逊的高可用键值存储
本文介绍了Dynamo 的设计和实现,Dynamo 是一个高度可用的键值存储系统,亚马逊的一些核心服务使用它来提供"永远在线"的体验。为了达到这种可用性水平,Dynamo 在某些故障情况下牺牲了一致性。它广泛使用对象版本控制和应用程序辅助的冲突解决方式,为开发人员提供了一个新颖的接口。翻译 2020-12-24 22:11:50 · 1797 阅读 · 0 评论 -
Megastore:为交互式服务提供可扩展的高可用性存储
Megastore 是为满足当今交互式在线服务的要求而开发的存储系统。Megastore 以一种新颖的方式将NoSQL数据存储的可扩展性与传统关系数据库管理系统的便利性相结合,并提供了强大的一致性保证和高可用性。我们在数据的细粒度分区(fine-grained partitions of data)中提供完全可序列化的ACID语义。这种分区允许我们以合理的延迟在广域网上同步复制每个写操作,并支持数据中心之间的无缝故障转移。本文描述了Megastore 的语义和复制算法。它还描述了我们支持使用Mega翻译 2020-12-22 19:55:46 · 3842 阅读 · 0 评论 -
Haystack:Facebook 的照片存储系统
本文描述了Haystack,一个为Facebook 的照片应用程序提供优化的对象存储系统。Facebook 目前存储了超过2600亿张图像,相当于超过20PB的数据。用户每周上传10亿张新照片(60TB),峰值时Facebook 每秒提供超过100万张图像。与我们以前的方法相比,Haystack 提供了一种成本更低、性能更高的解决方案,该方法利用了NFS的NAS 设备。我们观察到,由于元数据查找,这种传统设计会导致过多的磁盘操作。我们仔细减少了每张照片的元数据,这样Haysta翻译 2020-12-18 23:11:50 · 1439 阅读 · 2 评论 -
PolarFS :一个用于共享存储云数据库的超低延迟和容错分布式文件系统
PolarFS 是一个具有超低延迟和高可用性的分布式文件系统,专为POLARDB 数据库服务而设计,目前已在阿里云上提供。PolarFS 在用户空间中利用了轻量级网络堆栈和I/O 堆栈,充分利用了RDMA、NVMe和SPDK等新兴技术。通过这种方式,PolarFS 的端到端延迟大大降低,实验表明PolarFS 的写入延迟与SSD 上本地文件系统的写入延迟非常接近。翻译 2020-10-06 22:20:42 · 4439 阅读 · 1 评论 -
阿里云原生数据库系统:机遇与挑战
目录1、简介2、阿里巴巴数据库系统架构3、阿里巴巴数据库系统的其他关键功能4、阿里云本机数据库5、应用和操作6、结论Cloud-Native Database Systems at Alibaba: Opportunitiesand Challenges阿里云原生数据库系统:机遇与挑战摘要由于各种应用程序对弹性和按需(elasticityand on-demand)使用的需求,云原生数据库在云计算时代变得越来越重要。这些来自云应用程序的挑战为云原生数据库带来...翻译 2020-09-28 22:17:45 · 2245 阅读 · 2 评论 -
ChubaoFS:一个面向大规模容器平台的分布式文件系统
CFS 是面向大规模容器平台的分布式文件系统。CFS 支持顺序和随机文件访问,对大文件和小文件都进行了优化存储,并针对不同的写入场景采用不同的复制协议,以提高复制性能。它采用元数据子系统,根据内存使用情况在不同的存储节点上存储和分发文件的元数据。翻译 2020-09-26 20:28:55 · 2938 阅读 · 2 评论 -
Ceph:一个可扩展,高性能分布式文件系统
Ceph是一个分布式文件系统,它提供了出色的性能、可靠性和可扩展性。 Ceph 通过将分配表替换为伪随机数据分布函数(CRUSH),最大化了数据和元数据管理之间的分离,该函数是为不可靠对象存储设备(OSD)的异构和动态集群而设计的。翻译 2020-08-23 21:35:39 · 1633 阅读 · 0 评论 -
Raft 论文翻译
Raft是一种为了管理复制日志的一致性算法。它提供了和 Paxos算法相同的功能和性能,但是它的算法结构和 Paxos不同,使得Raft算法更加容易理解并且更容易构建实际的系统。为了提升可理解性,Raft将一致性算法分解成了几个关键模块,例如Leader选举、日志复制和安全性。翻译 2020-02-14 16:22:25 · 1335 阅读 · 1 评论 -
Google Chubby 论文翻译
Chubby 提供了一个类似于带有咨询锁的分布式文件系统的接口,但是其设计重点是可用性和可靠性,而不是高性能。翻译 2019-12-11 11:10:37 · 1822 阅读 · 0 评论 -
Google Spanner:谷歌的全球分布式数据库
Spanner 是谷歌公司研发的、可扩展的、多版本、全球分布式、同步复制数据库。它是第一个把数据分布在全球范围内的系统,并且支持外部一致性的分布式事务。翻译 2020-08-23 22:18:31 · 2277 阅读 · 0 评论 -
MapReduce 论文翻译
MapReduce 是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。翻译 2019-05-12 22:21:10 · 887 阅读 · 0 评论 -
Bigtable 论文翻译
Bigtable:一个分布式的结构化数据存储系统翻译 2019-05-08 16:28:59 · 1397 阅读 · 1 评论 -
The Google File System 论文翻译
Google File System(GFS文件系统)是一个面向大规模数据密集型应用的、可扩展的分布式文件系统。翻译 2019-05-03 22:00:40 · 3018 阅读 · 1 评论