论文分享 | Themis: 在拜占庭共识中实现排序公平性

追踪目前在区块链共识方向上的研究问题，分享一篇发表于2023年CCS会议上的论文，它解决在支持拜占庭容错的区块链共识中交易的公平排序问题，利用延迟排序的思想提出了一个简洁实用的方案。

论文摘要

这篇论文提出了一个名为Themis的方案，引入对交易进行公平排序的概念，使得在执行拜占庭容错共识的许可区块链中，实现交易排序公平性这一比较强的要求。这一要求在于不仅让处于不同区块的交易，排序结果满足多数共识节点的偏好，而且还可以让同一区块内的交易，排序结果也与多数共识节点的偏好匹配。其中，排序偏好为该共识节点接收两个不同交易时的顺序。Themis方案可以用最小的开销集成到现有的共识协议中，并且通过实验表明系统在公平排序上具有很强的实用性。

1 背景介绍

在去中心化金融（Decentralized Finance，DeFi）应用中，攻击者通过操控交易排序以牺牲普通用户的利益为代价而获利。在现有的共识协议中，存在一个“leader”完全控制交易的包含和顺序，并将此作为提案执行共识。因此排序操控是存在的，尤其是区块链系统，没有严格限制交易应该如何排序。共识安全的两个关键特性，一致性和活跃性，都没有强制要求交易到达的顺序与其最终排序之间的关系。

排序公平性保证系统能够阻止攻击者操控交易的顺序，令最终在账本中出现的交易顺序能够反映交易抵达到网络中的顺序。Themis方案实现了与Aequitas方案同样强的公平属性，其排序公平性的概念也源自Aequitas论文中的形式化描述。此外，相关工作Pompe和Wendy的类似特性也用来与本论文所提方案进行比较。

Themis方案执行在一个部分同步网络下，包含 $n$ 个节点且可容忍 $f<n/4$ 拜占庭敌手的共识组中，实现的公平排序属性即 batch-order-fairness ，形式化描述如下：

• 定义（$\gamma$-batch-order-fairness）：假设所有忠诚节点接收到了两笔交易 $tx$ 和 $t{x}^{\prime }$ 。如果有 $\gamma$ 比例的忠诚节点在交易 $t{x}^{\prime }$ 之前接收到了交易 $tx$ （其中 $\frac{1}{2}<\gamma \le 1$ ），那么所有的忠诚节点应当在交易 $t{x}^{\prime }$ 之前输出交易 $tx$ 。

Themis方案可以在协议设计用最小的改动，从任意基于“leader”的共识协议中启动。首先，在构建区块之前，所有节点向当前的领导节点发送它们接收到的交易顺序信息；然后，指定一个算法让诚实的领导节点根据交易顺序信息构建公平的区块提案；最后，为所有节点提供一种方法来验证提案的公平性并输出最终排序。

论文用到了被称为延迟排序的技巧，领导节点发布的区块有部分交易是完全排序，其他的是部分排序。部分排序的交易由之后的忠诚领导提供排序信息，从而将这些交易的排序状态转变成完全排序。

2 问题来由

交易的公平排序问题来源于投票理论中的孔多塞悖论（Condorcet Paradox），一个抽象的解释是：即使参与投票的每一方在其本地的偏好是可传递的，也同样会出现非传递的全局偏好。维基百科（https://en.wikipedia.org/wiki/Condorcet_paradox）给出了一个经典的例子，假设有3个候选项A，B和C，3个节点对该候选集合的投票偏好恰好为[A,B,C]，[B,C,A]和[C,A,B]，列出投票偏好表如下。

投票人	第一选择	第二选择	第三选择
节点1	A	B	C
节点2	B	C	A
节点3	C	A	B

从任一节点视角看，候选项的排序是传递的，然而当采用多数节点原则合并全局结果时，候选项的全局排序变成了非传递的。如图1所示，全局偏好A排序在B之前，B排序在C之前，而C又排序在A之前，构成了孔多塞循环（Condorcet Cycle）。

图1 孔多塞循环示例

本论文在排序公平性定义中的batch，即指打包一段时间内交易的区块。由于区块将交易分批打包，前一个区块中的任意交易在排序上优先于之后续区块中的所有交易，因此该孔多塞循环不必延申至无限长。重要的结果是，batch弱化了对公平性的定义，方案只需要关注并解决在同一个区块里产生孔多塞循环的交易。对孔多塞循环给出如下形式化定义：

• 定义（Condorcet Cycle）：称一个交易列表 $[t{x}_1,...,t{x}_l]$ 是长度为 $l$ 的孔多塞循环需要满足：对于任意 i ∈ { 1 , . . . , l } i \in \{1,...,l\} i∈{1,...,l} ，其中 $t{x}_1=t{x}_{l+1}$ ，有至少 $(n-f)(1-\gamma )+1$ 个忠诚节点在交易 $t{x}_i$ 之前接收到交易 $t{x}_{i+1}$ 。

3 方案描述

Themis协议可以嵌入到任意基于领导的共识协议里，提供一种机制帮助节点检查区块提案的交易排序。为了构建这样的排序公平性，所有节点首先提交它们的本地排序偏好给领导节点，其本地排序依据节点接收交易的时间。协议引入了一种延迟排序的技巧，令忠诚节点分别执行 $\mathrm{FairPropose}$ 和 $\mathrm{FairUpdate}$ 两个算法，前者用于构建包含了部分交易排序的区块提案，后者用于更新之前区块提案中未确定的交易排序。最后，通过执行 $\mathrm{FairFinalize}$ 算法，节点可以在前两个算法构建的交易依赖图中提取出最终的公平排序结果。

3.1 符号定义

令 $\mathcal{L}$ 是包含 $n-f$ 个节点的排序集合，用 $tx{\in }_k\mathcal{L}$ （对应的，$tx{\notin }_k\mathcal{L}$）表示交易 $tx$ 有至少（对应的，少于） $k$ 个排序关系在集合 $\mathcal{L}$ 中，用 $tx{\prec }_{(\mathcal{L},k)}t{x}^{\prime }$ 表示至少有 $k$ 个交易 $tx$ 在交易 $t{x}^{\prime }$ 之前的排序关系在集合 $\mathcal{L}$ 中，用 ${\mathrm{Weight}}_{\mathcal{L}}(tx,t{x}^{\prime })$ 表示排序关系为 $tx{\prec }_{(\mathcal{L},k)}t{x}^{\prime }$ 的最大数值 $k$ 。

延迟排序的思路是将最终的全排序划分为多个轮，在后一轮出现的交易，其排序结果一定不在当前轮之前。基于节点的本地排序偏好，领导节点将交易分为三类： solid ， blank 和 shaded ，用 non-blank 标记某个交易是 solid 或 shaded 。

1. solid 交易出现在大多数节点的本地排序偏好里，同时记录在当前的区块提案中，满足 $tx{\in }_{n-2f}\mathcal{L}$ 。
2. blank 交易出现较少节点的本地排序偏好里，并且被排除在当前的区块提案中，因此标记该交易为空白，自然该交易也不会出现在之前的区块，当条件满足 $tx{\notin }_{n(1-\gamma )+\gamma f+1}\mathcal{L}$ 时该情况发生。
3. shaded 交易记录在当前的区块提案中，满足 $tx{\in }_{n(1-\gamma )+\gamma f+1}\mathcal{L}$ 但 $tx{\notin }_{n-2f}\mathcal{L}$ ，即根据现有的本地排序偏好数量还不足以给出排序结果，因此将其作为候选。

3.2 构建提案

首先，领导节点执行算法 $\mathrm{FairPropose}(\mathcal{L})$ 发起一个区块提案。

---

算法1 - $\mathrm{FairPropose}(\mathcal{L})$

输入一个包含 $n-f$ 个本地排序偏好的集合 $\mathcal{L}$ ，执行：

（1）构建依赖图

• 创建一个空的图 $\mathcal{G}=(\mathcal{V},\mathcal{E})$ 。
• 对于每个 non-blank 交易 $tx$ ，添加一个点 $tx$ 到集合 $\mathcal{V}$ 中。
• 对于每个交易对 $tx,t{x}^{\prime }\in \mathcal{V}$ ，令 $k={\mathrm{Weight}}_{\mathcal{L}}(tx,t{x}^{\prime })$ 和 $k^{\prime }={\mathrm{Weight}}_{\mathcal{L}}(t{x}^{\prime },tx)$ 。如果 $k\ge n(1-\gamma )+\gamma f+1$ ， $k\ge k^{\prime }$ ，并且 $(t{x}^{\prime },tx)\notin \mathcal{E}$ ，那么添加一条边 $(tx,t{x}^{\prime })$ 到集合 $\mathcal{E}$ 中。
• 计算出图 $\mathcal{G}$ 的拓扑排序集合 $S$ 。

（2）输出公平排序

• 令交易 $V$ 为拓扑排序集合 $S$ 中最后一笔 solid 交易。
• 移除在图 $\mathcal{G}$ 中所有排序在交易 $V$ 之后的在集合 $S$ 中出现的交易。
• 输出图 $\mathcal{G}$ 。|

---

交易依赖图的构建如算法1所示，首先将每个 non-blank 交易加入到图中，若交易满足 $tx{\prec }_{(\mathcal{L},thresh)}t{x}^{\prime }$ 则添加边 $tx,t{x}^{\prime }$到图中，其门限值 $thresh=n(1-\gamma )+\gamma f+1$ 。令 $k={\mathrm{Weight}}_{\mathcal{L}}(tx,t{x}^{\prime })$ 和 $k^{\prime }={\mathrm{Weight}}_{\mathcal{L}}(t{x}^{\prime },tx)$ ，如果 $k,k^{\prime }\ge thresh$ ，$k>k^{\prime }$ 则添加边 $(tx,t{x}^{\prime })$ ，$k^{\prime }>k$ 则添加边 $(t{x}^{\prime },tx)$ 。两种排序只有其一会被加入到图中，遇到 $k=k^{\prime }$ 时，则通过确定性算法选择边。注意到，如果 $k,k^{\prime }<thresh$ ，则这两个交易的排序将在之后的区块提案中以边的形式补充到图中。

然后，领导节点从图中排除 shaded 交易，仅输出在当前区块提案中的 solid 交易作为已确定结果的交易排序。

3.3 排序更新

算法 $\mathrm{FairUpdate}({\mathcal{L}}_{updates})$ 允许后续领导节点添加缺失的边（其他节点的本地排序偏好）到之前领导节点构建的由区块提案输出的依赖图。

---

算法2 - $\mathrm{FairUpdate}({\mathcal{L}}_{updates})$

一旦接收到包含了 $n-f$ 个节点对于之前 shaded 交易的本地排序偏好的集合 ${\mathcal{L}}_{updates}$ ，执行：

（1）输出依赖

• 令 ${\mathcal{E}}_{updates}\leftarrow \varnothing$ 。
• 对于所有的由同一个领导节点发起的区块提案中，在原有依赖图中不存在边关系的两笔交易 $tx$ 和 $t{x}^{\prime }$ ，令 $k={\mathrm{Weight}}_{{\mathcal{L}}_{updates}}(tx,t{x}^{\prime })$ 和 $k^{\prime }={\mathrm{Weight}}_{{\mathcal{L}}_{updates}}(t{x}^{\prime },tx)$ 。如果 $tx{\in }_{n-2f}{\mathcal{L}}_{updates}$ ， $k\ge k^{\prime }$ ， 并且 $k\ge n(1-\gamma )+\gamma f+1$ ，那么添加一条边 $(tx,t{x}^{\prime })$ 到集合 ${\mathcal{E}}_{updates}$ 中。
• 输出集合 ${\mathcal{E}}_{updates}$ 。

---

每个节点 $i$ 发送集合 ${\mathrm{Update}}_i$ ，该集合包含了节点 $i$ 看到的出现在之前区块提案中的 shaded 交易的排序。算法2收集这些集合并更新排序结果，如果 $tx{\prec }_{(\mathcal{L},n(1-\gamma )+\gamma f+1)}t{x}^{\prime }$ ，那么在之前的依赖图中添加边 $(tx,t{x}^{\prime })$ ，更新的边在集合 $(E{)}_{updates}$ 中，将补充到之前的图中计算最终公平排序结果。

3.4 结果输出

现在，一个完整的由某个领导节点发起的提案区块可以被定义为 $B=(\mathcal{G},{\mathcal{E}}_{updates},\pi =(\mathcal{L},{\mathcal{L}}_{updates}))$ ，节点将使用 $\pi$ 来验证排序的公平性。

---

算法3 - $\mathrm{FairFinalize}()$

给定一个提案区块序列 $[B_1,B_2,...,B_3]$ ，执行：

（1）更新图

• 对于所有区块 $B_i$ 不存在边的交易对 $tx,t{x}^{\prime }$ ，如果边 $(tx,t{x}^{\prime })$ 出现在集合 $B_j.{\mathcal{E}}_{updates}$ 中，那么添加该条边到图 $B_i.\mathcal{G}$ 中。
• 令 $k$ 为完成了提案内交易排序的最后一个区块的序号，即图 $B_k.\mathcal{G}$ 不存在缺失的边。
• 计算图 $B_1.\mathcal{G},...,B_k.\mathcal{G}$ 的拓扑排序 $S_1,...,S_k$ 。

（2）产生公平排序

• 对于每个拓扑排序 $S_i=[v_{i1},...,v_{i{l}_i}]$ ，其中 i ∈ { 1 , . . . , k } i \in \{1,...,k\} i∈{1,...,k} ，令 $H_{ij}$ 为排序 $v_{ij}$ 哈密顿环首，可通过移除最小 $weight$ 的边来选取。
• 令 $t{x}_{i{l}_i}$ 是排序 $v_{i{l}_i}$ 中的一个 solid 交易，并且令 $H_{i{l}_i}^{\prime }$ 为哈密顿回路 $H_{i{l}_i}$ 的反向旋转，因此最后一笔交易为 $t{x}_{i{l}_i}$ 。
• 对于区块 $B_i$ 的最终排序输出为 $H_{i1},...,H_{i(l_i-1)},H_{i{l}_i}^{\prime }$ 。|

---

如算法3所示，根据后续提案中更新的本地排序偏好 $B_j.{\mathcal{E}}_{updates}$ ，向已经之前的提案添加交易依赖图中缺失的边 $(tx,t{x}^{\prime })$ 。在这样的更新操作之后，能够确定最新的完成了图关系的区块编号 $k$ ，并将此之前的区块中的交易进行公平排序。

首先从区块产生的各个拓扑排序中找出存在的哈密顿回路，即第2章提到的孔多塞循环。然后从哈密顿回路中找出 $weight$ 值最小的边，将其方向进行反向旋转从而切断回路，产生最终的公平排序。

3.5 公平排序的流程

如图2所示，给定一个 $n=5,f=1$ 的配置，即系统包含5个节点并容忍1个拜占庭错误，为简化示例令排序公平性参数 $\gamma =1$ 。

• 第1步， $n-f$ 个节点提交本地排序偏好 ${\mathcal{L}}^1$ 给领导节点；
• 第2步，领导节点运行 $\mathrm{FairPropose}$ 算法创建区块 $B_1$ ，包含交易的依赖图 ${\mathcal{G}}^1$ ，其中 $a,d$ 是 solid 交易， $b,c$ 是 shaded 交易；
• 第3步，节点运行 $\mathrm{FairFinalize}$ 算法输出交易列表 $[a]$ 为当前的最终排序；
• 第4步，节点提交 ${\mathcal{L}}^2$ 和 ${\mathcal{L}}_{updates}^2$ 给新的领导节点；
• 第5步，新领导节点运行 $\mathrm{FairPropose}$ 和 $\mathrm{FairUpdate}$ 算法创建区块 $B_2$ ，其中包含了更新的边集合 ${\mathcal{E}}_{updates}^2$ ；
• 第6步，节点运行 $\mathrm{FairFinalize}$ 算法将边 $(b,c)$ 加入到之前提案构建的依赖图 ${\mathcal{G}}^1$ 中，产生交易列表 $[b,c,d,e]$ 追加到之前的最终排序之后。

图2 (\gamma=1)-Themis方案流程示例

4 性能对比

Themis方案基于Hotstuff共识协议，采用libhotsuff开源代码（https://github.com/hot-stuff/libhotstuff）进行程序实现，其源码同样公开在github仓库（https://github.com/dailinsubjam/Themis-code），主要的代码改动是在领导节点生成公平交易序列以及其他节点验证该序列的逻辑。

实验选取了两种配置，一个是所有节点都处于同一个区域，另一个是节点分散在不同的地域。同时，实验还选取了两种不同的区块大小参数，即一个区块包含的交易数量，分别为 $\beta =50$ 和 $\beta =400$ 。从实验结果可以看出，当节点分散在不同地域时，网络延迟大，Themis方案的嵌入对原有共识协议的性能影响较小。另外，当区块大小参数较小时，构建图的计算复杂度小，因而Themis方案的嵌入对原有共识协议的性能影响也比较小。实验的具体细节请阅读原始论文，本分享不做过多赘述。

学习笔记

这篇论文在原有的共识协议的基本属性中，合理地找出了一个新的问题，即对交易的排序公平性。该问题有孔多塞悖论这样的叙述做支撑，提出的方案简洁有效，且可直接嵌入到现有的基于领导提案的共识协议。从技术创新的角度来看，其对问题的把握发现要多余方案的整体设计。最后，附上文献引用和DOI链接：

Kelkar M, Deb S, Long S, et al. Themis: Fast, strong order-fairness in byzantine consensus[C]//Proceedings of the 2023 ACM SIGSAC Conference on Computer and Communications Security. 2023: 475-489.

https://doi.org/10.1145/3576915.3616658