Amazon Aurora: 如何不使用一致性协议实现分布式数据库

最新推荐文章于 2024-07-22 22:49:00 发布

xstardust

最新推荐文章于 2024-07-22 22:49:00 发布

阅读量1.6k

点赞数

文章标签：数据存储

本文链接：https://blog.csdn.net/xstardust/article/details/81203685

版权

Amazon Aurora在2018年SIGMOD会议上提出了一种创新方法，避免在I/O、提交和成员变更时使用传统一致性协议。Aurora的数据库实例管理一致性点，而不是在多个存储节点间建立一致性，以此减少网络开销和复杂性。文章解释了Aurora如何通过database tier和storage tier协作，利用quorum系统而非强一致性协议达到强一致性。此外，文章讨论了Aurora如何处理写入、提交和恢复过程，强调其与基于底层强一致性的系统（如Spanner和PolarDB）的不同之处。

摘要由CSDN通过智能技术生成

摘要： 这个是Amazon Aurora 发的第二篇文章, 发在2018 年SIGMOD上, 题目很吸引人避免在I/O, commit, 成员变更的过程使用一致性协议. 在大家都在使用一致性协议(raft, multi-paxos)的今天, Aurora 又提出来了不用一致性协议来做, 主要观点是现有这些协.

这个是Amazon Aurora 发的第二篇文章, 发在2018 年SIGMOD上, 题目很吸引人避免在I/O, commit, 成员变更的过程使用一致性协议. 在大家都在使用一致性协议(raft, multi-paxos)的今天, Aurora 又提出来了不用一致性协议来做, 主要观点是现有这些协议太重, 而且会带来额外的网络开销, 也可以理解, 毕竟Aurora 是6副本, 主要的瓶颈是在网络上. 那么他是怎么做的?

因为Aurora 很多细节还是没有揭露, 所以很多内容是我自己的解读, 以及问的作者, 如果错误, 欢迎探讨

这篇文章也主要回答这个问题.

Aurora is able to avoid distributed consensus during writes and commits by managing consistency points in the database instance rather than establishing consistency across multiple storage nodes.

在Aurora 中, storage tier 没有权限决定是否接受write, 而是必须去接受database 传过来的write. 然后都是由database tier 去决定是否这个 SCL, PGCL, VCL 是否可以往前推进, 也就是说 storage tier 本身并不是一个强一致的系统, 而仅仅是一个quorum 的系统, 需要database tier 来配合实现强一致.

这个也是与当前大部分的系统设计不一样的地方, 当前大部分的系统都是基于底层强一致, 稳定的KV(当然也可以叫Block storage) 存储, 然后在上层计算节点去做