MIT 6.824 分布式系统导论： lab5 Persistence实现设计

lab5 Persistence

CSDN使用markdown语法编辑的博客，格式看起来，不是特别舒服，可在github上看此博客。

lab5要求在lab4的基础上，增加数据持久化的功能，从而支持节点在dead之后能够根据磁盘数据进行恢复

针对恢复时，磁盘的数据可能发生丢失，需要考虑以下恢复场景：

• 本地同步：磁盘数据未丢失，节点同步本地数据后，再次提供服务。
• 异地同步：磁盘数据丢失，节点同步其他节点的数据后，再次提供服务。

1. 数据持久化

1.1 paxos数据固化

　　paxos被用于决策操作之间的执行顺序，每个节点的内存中记录了paxos实例状态，对于这些数据，我们需要在磁盘上记录下来。

　　同时当前节点的状态，比如，min_done(当前集群中已经丢弃的最大实例号)这些信息也需要记录下来。

策略：

• 每个实例的状态均使用一个单独的文件进行存储，以”inst_status-提案号”命名。
• paxos节点的状态使用一个单独文件进行存储，以”paxos_status”命名。

1.2 key-vaule server数据固化

　　对于每个副本集，其上执行的操作（get，putappend，view change等）均来自于paxos的抉择，而所有这些抉择的操作均保存在paxos的日志当中，由于paxos端会解决提案的固化，因此在k-v server端，我们只需考虑执行操作后，该节点状态发生的改变。这些改变我们可以分为两类：分片数据的改变和本节点状态的改变（执行的操作编号，config的状态等）。

策略：

• 对k-v节点的状态使用一个单独文件进行存储，以”diskv_status”命名。
• 对每个分片的数据使用一个单独文件命名，以”shard_编号”命名。（这里也可以采用为每个分片创建目录，以”key”作为文件的方式进行数据持久化）

1.3 更新频率

　　对于paxos中数据的更新，为了做到“有迹可循”，采用“立即更新”的方式。比如，在prepare，accept阶段做出的回答，状态的更新，为了避免数据的丢失，均需在回复之前，将数据的状态更新到磁盘