尝试使用Chandy-Lamport方法设计分布式数据库快照

尝试使用Chandy-Lamport方法设计分布式数据库快照

C-L理论

根据Chandy-Lamport论文中的说明，分布式系统中节点间通过消息通道传递消息，消息按照顺序发送和接收。
某个节点做过快照后，通过消息通道发送不影响系统状态的消息marker通知其它节点做快照。
一个节点接收到marker消息时，如果还没做快照，那么就做快照，记录接收消息通道为空。已经做过快照的话，就记录从做快照开始，到marker消息这段时间的接收消息通道上的消息。
考虑一个复杂的多节点分布式系统，任意两个节点之间都有收发消息的通道，就是我想要根据C-L理论设计的分布式系统。

单个数据库的快照

单个节点的数据库快照方法是比较简单的，核心思想是记录当前数据库的一个快照，这个快照中不能包含未提交的事务，并且能够根据快照和此快照后的redo日志恢复数据库。
假设数据库事务的事务号是从1开始严格递增的，快照也会有对应的事务号，假设是sxid，那么快照就包含从1开始到sxid所有事务的数据。
在数据库启动时恢复事务号为sxid的快照和sxid+1开始的redo日志就可以。

分布式数据库的快照

分布式数据库会涉及到分布式事务，分布式事务的数据与多个节点相关，快照数据要保证所有节点上的分布式事务都完整的，同时保证每个节点自己的事务都是完整的并且连续的。
假设分布式系统上的每个节点都可以发起分布式事务，可能会涉及到其它任一节点，那么根据C-L的描述，两个节点之间都会有两个单向通道。就像论文中的图片：

分布式事务号与本地事务号
本地事务是指仅涉及到本节点数据的事务。
分布式事务涉及到当前节点的数据，也会生成一个本地事务，那么这个事务就有一个本地事务号和分布式事务号。

2节点分布式系统

先假设只有两个节点的系统，两个节点DB_a和DB_b，DB_a发向DB_b的通道是C_ab，DB_b发向DB_a的通道是C_ba。

通道描述C_xy表示DB_x节点发向DB_y节点的通道，下面都用这种记号。

快照的流程：

1. DB_a开始做快照，事务号XA₁，分布式事务号DXA₁;
2. 通过C_ab向DB_b发送marker消息;
3. DB_b收到marker消息，记录自己的快照，本地事务号XB₁，分布式事务号DXB₁;
4. DB_b向DB_a发送marker消息，DB_a收到marker消息前的分布式事务号为DXA₂，对应的本地事务号为XA₂;
5. DB_a记录通道C_ba上的消息，为[DXA₁ + 1, DXA₂]。

按照C-L的理论，分布式系统的快照这样就可以了。但是实际上，除了有分布式事务，还有本地事务。要得到一个完整的分布式系统快照，需要每个节点也有完整的快照。
上面描述的流程第5步，DB_a记录了消息通道上的数据，但是忽略了本地事务。对DB_a来说，完整的事务应该是[XA₁ + 1, XA₂]。
另一个问题，DB_a的事务[XA₁ + 1, XA₂]之间，也可能会包含DB_a发起的分布式事务，这一部分事务没有在DB_b中记录，所以还有缺陷。
解决这个缺陷的方法很简单，可以在DB_a发送marker消息后，接收到DB_b的marker消息前，就不再发起分布式事务，就是不再通过通道C₁₂发消息。
另外，消息通道上的数据，可以不记录下来，直接当做事务redo到快照中。
这样就有最终流程：

1. DB_a开始做快照，事务号XA₁，分布式事务号DXA₁;
2. 通过C_ab向DB_b发送marker消息，block 通道C₁₂，不再发送分布式事务消息;
3. DB_b收到marker消息，记录自己的快照，本地事务号XB₁，分布式事务号DXB₁;
4. DB_b向DB_a发送marker消息，DB_a收到marker消息前的分布式事务号为DXA₂，对应的本地事务号为XA₂;
5. DB_a记录通道C_ba上的消息，为[DXA₁ + 1, DXA₂]，恢复通道C₁₂;
6. DB_a redo通道上的消息到刚才记录的快照上。

多个节点分布式系统

再进一步，假设其中有个节点是DB_a，还有N个其它节点，任意两个节点之间都有双向通道。
快照一个可能的流程：

1. DB_a做快照，对另外N个节点的任一节点n，发送marker消息，block C_an, 记录通道C_xa消息号DXA_1n;
   对其它N个节点的任一节点DB_n：
   接收节点DB_m到marker消息(这个消息可能不是从DB_a发来的)，分为两种情况：
   没有做快照
   做快照，向其它所有节点发送marker消息，记录所有发向DB_n的通道消息号DXN_1x(x是任意其它节点)，阻塞所有发出去的通道C_nx;
   已经做了快照
   记录通道C_mn上的消息从DXN_1m开始到marker消息之前，比如是DXN_2m。放开通道C_nm。
   问题
   对于节点DB_n，记录DB_x发向它的通道的事务[DXN_1x + 1, DXN_2x]，假设对应本地事务号为[XN_1x + 1, XN_2x]。
   对任意的DB_x，XN_1x都是接收到marker消息时的事务号，所以让
   XN_1x = XN₁ x ∈ 任意节点除DB_N外
   把通道上的事务数据redo到快照上，那么所有的事务就是：
   [XN₁ + 1, max(XN_2x)] x ∈ 任意节点除DB_N外

使
XN_2max = max(XN_2x) x ∈ 任意节点除DB_N外

所有事务就是
[XN₁ + 1, XN_2max)]

在这个事务范围内，可能会有某些通道上的分布式事务，所以要想办法不允许在[XN₁ + 1, XN_2max]中出现分布式事务。
只要在做完快照后收到所有节点marker消息前，不再给其它节点发送分布式事务消息，那么就可以保证这个节点不会再发起分布式事务。但是无法阻挡还没有收到marker消息的节点发起分布式事务。
所以，结论是没办法让[XN₁ + 1, XN_2max]区间不出现分布式事务，这个方法失败了。

分布式快照的一个简单实现是，在发起快照命令时，选取一个节点作为协调节点，协调节点向所有节点发出checkpoint命令。所有节点开始checkpoint后，不允许执行新的分布式事务，并等待当前节点上执行的分布式事务结束。之后向协调节点回复。协调节点收到所有的回复消息后，通知其它节点开始快照动作。

参考

《Distributed Snapshots: Determining Global States of Distributed Systems》