论文分享 | 现代数据中心场景下的分离式RAID

今天分享的这篇文章发表于ASPLOS 2023，标题是Disaggregated RAID Storage in Modern Datacenters，完成单位是北京大学。

https://doi.org/10.1145/3582016.3582027 （文末阅读原文可以跳转）

---

摘要

RAID（独立磁盘的冗余阵列）几十年来已被广泛采用，因为它提供了超出了单个磁盘可以提供的吞吐量和冗余。今天，由快速数据中心网络启用，以可接受的开销（即分解存储）访问远程块设备成为现实（例如，对于无服务器应用程序）。将 RAID 与远程存储相结合可以提供相同的好处，同时比其单片对应物产生更好的容错性和可容忍性。分离式RAID的关键挑战是处理RAID生成的额外网络传输，它可能消耗大量的NIC带宽。我们提出了 dRAID，这是一种分离式 RAID 系统，可实现接近最优的读写吞吐量。dRAID利用点对点的分解数据访问来减少正常状态和退化状态下的带宽消耗。它采用非阻塞多阶段写入来最大化节点间并行性，并应用流水线 I/O 处理来最大化设备间并行性。我们引入了带宽感知重建以获得更好的负载平衡。我们表明 dRAID 提供了高达 3 倍的加速带宽改进。轻量级对象存储的结果表明，dRAID 在各种工作负载上带来了 1.5 -2.35倍的吞吐量改进。

从摘要中我们可以得知这一篇文章主要提出了dRAID，目的是将RAID应用于当前数据中心的分布式场景。主要需要解决的挑战是由于计算RAID校验值而产生的额外读写网络传输，避免因为额外读写的网络传输导致大量NIC带宽消耗。

存在的问题

对于RAID5和RAID6，在写入新数据时（低于50%全条带写的情况），需要将老数据读出计算校验块的值，如果这个计算操作都在HOST端进行，那么存储结点向HOST端传输数据受限于HOST端NIC带宽硬件限制，这使得RAID直接应用于分布式存储的场景即使增加驱动器，也只能获取有限的优化，存在硬件瓶颈。

如上图，a是RAID应用于单一机器场景，b是RAID直接应用于分布式存储场景。b图中存在HOST端NIC的带宽硬件瓶颈。

问题解决的机会

如上图c，可以利用数据中心各个存储结点之间的直接伙伴访问+将校验块的计算工作卸载到存储结点来避免HOST端过于拥塞，同时能够充分利用各个节点的带宽。

主要做的工作

文章主要提出了dRAID，一种针对数据中心分布式存储场景下的RAID架构，尽可能达到最佳的吞吐量和延迟。

在直接应用RAID的情况下，需要将老数据和老校验块读出，传输到HOST，再将新数据写入，再在HOST端将新老数据异或运算，得到校验块，再将校验块写入。但是写过RAID的都知道，对于RAID校验块计算，是一系列的异或操作，它是顺序无关的，无论以任何顺序去计算最终都是一致的结果。那么，对于每一个存储节点的部分条带写入场景，以上过程可以修改为，HOST直接下发写入，同时修改命令，让存储节点知道，这是一次部分条带写入，需要先将老数据读出和新数据做异或运算后再将新数据写入，完成后，将计算结果转发到负责存储校验块的存储节点（论文中叫reducer）。负责存储校验块的存储节点通过HOST下发的命令，能够清晰的知道会收到多少个完成了一部分异或运算的结果，最终，它将所有异或运算的部分结果和自身携带的老校验数据做异或，得到新的校验块，写入完成后，报告HOST。

上图表示了一次部分写操作的处理流程。

上图表示了一次恢复读的处理流程。

按照以上的逻辑，HOST端不再需要接收各个存储节点传输的老数据，只需要对以上流程进行逻辑控制即可，从而打破了NIC带宽的硬件瓶颈。如果某一结点损坏，需要读出校验块恢复，同样也可以采用类似的思想。

综上，为了实现以上的逻辑文章需要去实现以下的工作：

1. 修改主机端的逻辑，主机端只需要进行逻辑控制，非必要不再负责计算校验数据；

2. 修改存储服务器端的逻辑，存储服务器增加了一部分的运算逻辑；

3. 修改协议，我们需要让存储结点知道该做什么事，对于一次写操作是否需要将老数据读取后做运算，对于一次读操作是否需要将老数据读出后传输，传输到哪一个存储结点等，需要命令中的额外字段来明确指出；

4. 实现逻辑的具体算法以及错误处理策略。

文章还额外实现了基于流水线的优化和带宽感知的优化策略（在重建时根据当前带宽，灵活选择一个“更悠闲”的结点作为reducer）。

评估

文章做了大量的实验去评估dRAID的效果，由于打破了NIC硬件瓶颈，dRAID拥有更高的理论吞吐量和延迟，在实验中得到了充分的体现，相较于Linux-dm提供的RAID和Inter实现的RAID，在分布式存储情况下，性能有大幅地提升。