标准Linux + Hammerspace: 开启基于标准的高性能存储新时代-CSDN博客

本文链接：https://blog.csdn.net/Cctycctyccty/article/details/151068093

在Hammerspace，我们不仅与创新保持同步，而且还在推动创新。我们对 Linux内核的贡献使得可以重新定义企业、AI和HPC等场景下存储的可能性。

将标准Linux服务器转变为可以满足企业、AI和HPC场景所需的文件和对象存储平台，这些转变是由Hammerspace设计，并作为标准Linux发行版的一部分提供，使企业能够通过可信的、易于部署的开放标准实现前所未有的性能和可扩展性。

《Linux在高性能存储和分布式环境方面的进步》

这种对标准Linux的承诺确保了用户无需安装私有客户端软件或更改现有存储，同时仍然可以使用Hammerspace功能，例如具有非破坏性的数据编排统一全局命名空间，无缝跨越任意品牌存储孤岛、多个数据中心和公有云。

在Hammerspace和开源社区的推动下，对NFSv4.2的功能增强正在使该协议变得更强大，以满足当今分布式和高性能工作负载的需求。LOCALIO、FlexFiles、Attribute Delegations和Fast Failover等功能旨在提供无与伦比的性能、可靠性和可扩展性。

Linux NFS客户端内核维护员Trond Myklebust补充说道：“这些创新巩固了NFS作为一个现代智能存储协议地位，以满足企业、人工智能和高性能计算等场景需求。”

已包含在Linux 6.12内核中的功能：

极强的扩展性和超快的吞吐量

带有 FlexFiles 的 Parallel NFSv4.2 在多台服务器上拆分文件数据，允许客户端并行访问数据。当与 N-Connect 结合使用时，多个数据路径被合并为单个高效的数据路径，用于需要大量读取或写入的场景。

这些创新克服了TCP/IP网络的挑战，并更接近仅在RDMA网络（RoCE和Infiniband）上才能实现的吞吐量。使用N-Connect，您可以获得90%以上的RDMA性能，而无需RDMA网络的复杂性和成本。

高负载下极速的元数据响应

新的 Attribute Delegations 功能允许客户端在本地缓存元数据，从而减少元数据服务器的重复查询需求。

允许元数据被客户端进行智能缓存，使其表现像本地一样，消除以前需要的GETATTR请求数量。这种增强功能显著减少了在不同存储类型的统一全局命名空间中访问和管理数据时造成的延迟。对于响应要求极高的低延迟场景，如实时分析或交互式模拟，可确保无论数据存储于何处，都可提供极高的性能。

确保数据可在服务器故障时不间断访问

通过 Fast Failover，使来自不可用服务器的工作负载被无缝重定向到正常服务器，最大限度地减少停机时间。

此功能使客户端应用程序能够无缝地将工作负载重新路由到另一个可用服务器，而不会遇到停机或数据丢失。使得工作负载可持续运行，而且可以根据需要动态移动负载，以确保在最苛刻的情况下也能持续读写。

消除数据传输瓶颈

当NFS服务器与NFS客户端在同一台服务器时，LOCALIO （NFS旁路协议）使GPU/CPU可以绕过RPC网络协议直接访问数据，从而消除数据路径瓶颈。

LOCALIO为NFS客户端添加了智能，使其能够识别NFSv3数据服务器位于同一主机内核中。通过这种方式，LOCALIO绕过主机内核中的网络层，从而消除了不必要的网络回环，并通过进一步减少延迟来提高性能。这避免了传统的I/O瓶颈，提供了传统存储架构无法触及的性能水平。

除上述已经实现的功能，Hammerspace还正在为2025年发布的Linux内核提供更多新功能，这些功能将继续推进基于标准的存储架构进化。包括：

减少服务器端使用纠删码的性能消耗

Client-side Erasure Coding 将计算密集型数据保护算法工作转移到客户端，优化分布式存储系统性能。

将冗余计算的责任从服务器转移到客户端。这种更智能的方法不仅减轻了存储服务器的负载，也为其他关键操作腾出资源，而且还可以在分布式环境中实现更高效的扩展。对于需要大量并行写入的工作负载，如人工智能训练或高频交易，此功能提供了强大的数据保护，没有性能瓶颈，允许在任何规模上实现更快的性能。

提高并行文件系统性能

Striped FlexFiles 通过跨多台服务器对数据进行条带化来提升性能，以实现更快、更高效的访问。

通过在多个服务器上同时分发数据，将并行性能提升到一个新的水平。此功能将pNFS v4.2的使用扩展到传统共享文件用例之外，以加速最苛刻的工作负载。即使是HPC场景中应用程序（如基因组测序或CFD模拟）所需要的极端性能，也可以从Linux内核所包含的标准并行文件系统中获得性能提升。通过扩大pNFS应用范围，Striped FlexFiles使该协议成为现代和传统HPC环境中的强大工具。