高性能分布式存储系统的核心

高性能分布式存储系统的核心

      针对超高性能分布式存储的系统，需要高性能的网络和存储，例如要求100us内完成从A机器写入B机器1K数据。需要做的是选用高性能的软硬件解决方案，包括高性能网络硬件，高性能网络软件，高性能存储硬件，高性能存储软件。

      网络和存储硬件向着高吞吐低延迟的方向不断发展。网络环境上，从主流千兆网发展为双万兆，更高性能的RDMA很快将在公司铺开，规划中的100G网络将在19年初大规模应用；存储介质上，从经典HDD到NVMe SSD、3D XPOINT。新硬件us级别的延迟，使得性能瓶颈从网络、磁盘转移到了存储软件栈；新硬件的持续导入，在考验着存储软件架构的前瞻性。

      网络和存储的配套访问软件在随硬件快速进化。传统的内核态TCP、内核态文件系统被重新审视，一系列低延迟访问技术试图走向舞台中央：Userspace TCP引起高度关注，RDMA网络技术将在集团落地，SPDK等用户态存储访问技术也被广泛尝试。软硬件一体化的设计和优化，成为存储产品进化的必然方向。

      新的存储形态和存储产品不断涌现。Flash Array，Hyper-Converged，Unified Storage，SDS等新存储形态逐渐被用户接受，ScaleIO，XtremIO，Nutanix，MapR，Infinidat，Hedvig等新存储产品层出不穷。如何博采众长、去芜存菁、持续创新，引发着存储人的不断思考。

       相关的技术研究点：

       1.  Infiniband

       2.  RDMA

       3.  spdk/dpdk

       4.  Accelio