高性能计算(HPC)、人工智能(AI),大数据(BigData)是当今数据密集的企业所面临的重大机遇和挑战,更多“数据大”企业开始关注IT基础设施和架构的革新。作为数据的最终归宿和一切分析计算的基础,存储设备的稳定性,扩展性,和性能表现成为了IT系统优化工作的重中之重。
然而,大多数企业可能不甚了解,存储系统的高性能,其实是相对的,有高带宽的、有高IOPs的、有元数据性能表现出色的。不可能在单个系统中各个维度都追求极致性能表现。
存储性能常见优化方式
通常而言,带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。
在实际应用中
※ 希望得到更“高”的IOPS,就需要尽可能【减少】每次数据存取请求涉及到的盘数;
※ 希望吞吐更“大”(高带宽),就需要聚合【更多】个盘的带宽。
显然,带宽与IOPS两项指标像不可兼得的鱼和熊掌,不可能在一套存储系统中都得到极致优化。
通用存储本来是个傻盒子
如果没有合适的方法和人工干预,存储只能根据当前的IO特性,以确定的缓存策略和数据一致性策略,甚至数据的摆放位置来为应用提供服务,无法【根据应用的特点】实现对存储特性的精确动态调优,但高性能计算、AI训练和大数据分析对应的数据访问模式是不同的。
需要存储在
不同时段:When
不同配置区域:Where
为应用的不同计算阶段:What