阿里云大模型数据存储解决方案，为 AI 创新提供推动力

随着国内首批大模型产品获批名单问世，百“模”大战悄然开启。在这场百“模”大战中，每一款大模型产品的诞生，都离不开数据的支撑。如何有效存储、管理和处理海量多模态数据集，并提升模型训练、推理的效率，保障 AI 业务平台运行的稳定，仍是亟待解决的难题。在云栖大会上，阿里云推出一系列针对大模型场景的存储产品创新。这些产品通过利用 AI 技术赋能 AI 业务，可以帮助用户更轻松地管理大规模多模态数据集，提高模型训练、推理的效率和准确性。同时，这些产品还支持高可用性、可扩展性和安全性，满足不同用户的个性化需求。

为 AI 算力提速的存储服务

在实际生产过程中，AI 场景分为训练和推理两个流程。其中训练环节需要消耗大量的算力，为了提升算力资源的生产效率，对于数据集和 checkpoint 的读写加速至关重要。阿里云文件存储 CPFS 采用全并行 IO 架构，数据和元数据分片存储在所有节点上，单文件读写可以利用所有节点带宽，同时 CPFS 的弹性文件客户端可以利用近计算端缓存，进一步加速数据集和 checkpoint 读写。产品性能指标最高提供 20TB/s 吞吐和 3 亿 IOPS，在超大规模训练场景下，也能快速完成 checkpoint 读写，加速 AI 训练。

本次云栖大会发布的通义千问最新大模型产品，模型参数达到 2,000 亿级别，在训练过程中使用 CPFS 承载训练用数据集和 checkpoint 的存储。在千卡规模下，数据集的加载吞吐达到数百 GB/s，checkpoint 写入吞吐近百 GB/s，结