lab5 Persistence
CSDN使用markdown语法编辑的博客,格式看起来,不是特别舒服,可在github上看此博客。
lab5要求在lab4的基础上,增加数据持久化的功能,从而支持节点在dead之后能够根据磁盘数据进行恢复
针对恢复时,磁盘的数据可能发生丢失,需要考虑以下恢复场景:
- 本地同步:磁盘数据未丢失,节点同步本地数据后,再次提供服务。
- 异地同步:磁盘数据丢失,节点同步其他节点的数据后,再次提供服务。
1. 数据持久化
1.1 paxos数据固化
paxos被用于决策操作之间的执行顺序,每个节点的内存中记录了paxos实例状态,对于这些数据,我们需要在磁盘上记录下来。
同时当前节点的状态,比如,min_done(当前集群中已经丢弃的最大实例号)这些信息也需要记录下来。
策略:
- 每个实例的状态均使用一个单独的文件进行存储,以”inst_status-提案号”命名。
- paxos节点的状态使用一个单独文件进行存储,以”paxos_status”命名。
1.2 key-vaule server数据固化
对于每个副本集,其上执行的操作(get,putappend,view change等)均来自于paxos的抉择,而所有这些抉择的操作均保存在paxos的日志当中,由于paxos端会解决提案的固化,因此在k-v server端,我们只需考虑执行操作后,该节点状态发生的改变。这些改变我们可以分为两类:分片数据的改变和本节点状态的改变(执行的操作编号,config的状态等)。
策略:
- 对k-v节点的状态使用一个单独文件进行存储,以”diskv_status”命名。
- 对每个分片的数据使用一个单独文件命名,以”shard_编号”命名。(这里也可以采用为每个分片创建目录,以”key”作为文件的方式进行数据持久化)
1.3 更新频率
对于paxos中数据的更新,为了做到“有迹可循”,采用“立即更新”的方式。比如,在prepare,accept阶段做出的回答,状态的更新,为了避免数据的丢失,均需在回复之前,将数据的状态更新到磁盘