一致性算法
- 强一致性:写数据时,必须保证所有的副本都写完成后,才能返回给用户。
- 弱一致性:当写入数据时,只需要保证半数以上的数据为最新的,即可返回给用户,写完成。剩余的副本可以通过后台写完成同步,同步完成后所有的数据一致。
WARO
WARO (Write All Read one)是一种强一致性的协议,当应用程序写数据时,所有的副本都写入后,本次写才视为完成,不然就返回错误。如此,读的时候去任意一个数据块上读取都是最新数据。缺点WARO的写性能下降,因为必须要等待所有副本写成功才可以返回给用户。
Quorum机制
Quorum是弱一致性的策略,即并不需要保证所有的副本都是最新数据,只需要保证半数以上的数据块为最新数据即可。
Quorum 的定义如下:假设有 N 个副本,更新操作 wi 在 W 个副本中更新成功之后,则认为此次更新操作 wi 成功,把这次成功提交的更新操作对应的数据叫做:“成功提交的数据”。对于读操作而言,至少需要读 R 个副本,其中,W+R>N ,即 W 和 R 有重叠,一般,W+R=N+1。
- N = 存储数据副本的数量
- W = 更新成功所需的副本
- R = 一次数据对象读取要访问的副本的数量
白话定义:
Quorum的定义:
如果有N个副本,写操作只需要写入N/2+1个副本就可以返回给用户,表示写成功。
读数据的时候只需要随机读取N/2+1个副本,找出数据最新的副本即可放回给用户,表示读成功
举个例子:
假设我有5个副本,原本是A,更新B操作成功写入了3个,另外2个副本仍是旧数据,此时在读取的时候,只要确保读取副本的数量大于2,那么肯定就会读到最新的数据。至于如何确定哪份数据是最新的,我们可以通过引入数据版本号的方式判断(Quorum 机制的使用需要配合一个获取最新成功提交的版本号的 metadata 服务,这样可以确定最新已经成功提交的版本号,然后从已经读到的数据中就可以确认最新写入的数据。)
还有一种解决方案:
我们在元数据管理中设置位图,记录那些数据块的数据是最新的,读取的时候直接通过获取位图即可找到对应的数据块,拿到最新数据。