基于RDMA和NVM的大数据系统一致性协议研究

本文来源于《大数据》，作者吴昊, 陈康等。

摘要：分布式存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石，高可用技术一般依赖于一致性协议。

本文讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质，通过RDMA和NVM的结合获得了更高性能的高可用系统。

改进了一致性协议，使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时，有效地提高了协议实现的性能。

通过实验表明，相比于现有的系统，实现的系统能够得到40%的性能提高。

论文主要涉及知识点： 

本文首先对一致性协议、RDMA概念、NVM存储技术进行描述。再指出RDMA和NVM结合的一致性协议，以及出现协议不一致，故障恢复的方法。

最后，使用使用C++语言对修改后的MultiPaxos协议进行了实现，同时使用 基于InfiniBand网络设施的服务器集群对实现的一致性系统进行测试。

集群由10台服务器构成，每台服务器的配置见表3。其中，笔者使用5台服务器作为一致性系统的服务端，另外5台服务器作为客户端，负责和服务端

进行通信并发送请求。由于目前市面上没有可用的NVM硬件，因此使用内存模拟测试，同时由于NVM的写时延比内存高，因此在测试时，笔者修改了

CentOS内核，使得系统内存的写时延增加150 ns，从而匹配NVM性能。主要从时延和吞吐量两方面进行测试验证。

测试结果如图4所示。由于本文工作是单轮通信协议，而DARE是两轮通信协议，因此本文工作的时延比DARE低。在时延测试中，当数据大小为8 byte时，单次提交指令的时延最低可达到6 μs，相比DARE的9 μs时延来说约减少了33%。由于RDMA操作的时延随着数据大小的增加而增加，因此二者的时延也随着数据大小的增加而增加。

 

图4   时延和吞吐量测试结果
 

在吞吐量测试中，二者的吞吐量都随着客户端连接数量的增加而增大。DARE协议在第二轮通信中要比本文工作多发送一轮日志的尾指针，发送数据量比本文多一些，因此本文工作的吞吐量要大一些。本文的协议中请求可以并行处理，而DARE只可以等待前面的请求处理结束后才开始处理之后的请求。为了提高性能，DARE在设计中使用了批量处理操作，将相同操作类型的请求打包到一起。随着连接的客户端数量增加，领导者服务器接收到的请求也随之增多，DARE每一次批量处理后的数据大小也随着增大。RDMA的带宽利用率是随着传输数据大小增加而增加的，因此本文工作和DARE的吞吐量差距也随着客户端连接数的增加而减小。