Practical Performance Evaluation of Space Optimal Erasure Codes for High‑Speed Data Storage Systems

由于擦除代码已在大多数大型数据存储系统和应用程序中广泛采用，因此近年来高性能擦除代码的实现已得到显着改善，尤其是通过采用英特尔的Streaming SIMD Extensions（SSE）指令。扩大Plank等人的调查工作。 （Fast，9：253–65，2009）进行了将近十年，本文比较了三种开源或公共领域擦除编码库的实际性能，即Jerasure和Intel的ISA-L的RS代码以及STAR代码的实现。本文的目的是为数据存储从业者提供指南，以便他们为需要在GBs / s数量级的编码和解码操作中需要高性能的存储应用程序和系统选择合适的擦除代码。此外，本文还提出了一种实用技术，可以针对最常见的磁盘故障模式（即一个磁盘故障）进一步提高Jerasure和ISA-L的RS代码的解码性能。
当执行编码和解码操作时，每个条带被划分为r行。 通常由所采用的擦除码算法来确定该r。 对于每个条带，每一行只是一个packet的操作单元。 它的大小称为packetsize，因此，blocksize=packetsize×r。 每个stripe都是独立编码和解码的，因此可以通过旋转和切换每个条带的磁盘标识来实现负载平衡。 很容易看出，在分布式系统中，每个磁盘都只能是一个节点。 但是在本文中，我们坚持使用“磁盘”一词。
自[28]中对Reed-Solomon代码进行性能评估以来的一项进展是，英特尔的SSE [8]使用并行乘法表查找功能对有限域进行了快速乘法运算，从而显着提高了乘法速度[27]。 Jerasure 2.0 [26]和英特尔的ISA-L [16]都采用了这种加速技术，这将是本文的重点。 在这两个库中，基本的有限域乘法都是在128位字而不是8位字上执行的（即使w仍为8，即，使用的有限字段仍然是GF（2的8次方）），因此packetize = 16字节 。
测试的数据
不同的disk个数导致的吞吐量的变化在不同的blocksize下