从ChatGPT入手，分析AI底层产业链中的存储资源盘活机会

最近ChatGPT火了！写代码、写情书、写文章、做题……它啥都会。在ChatGPT强大的功能背后，离不开业内不断精进的人工智能技术的支撑。随着超大规模人工智能模型和海量数据的爆发，人工智能对算力的需求也随之不断走高。根据IDC发布的《2022-2023中国人工智能计算力发展评估报告》显示，我国AI计算力保持快速增长，2022年智能算力规模达到268百亿亿次/秒（EFLOPS），超过通用算力规模，AI行业发展迅速。

AI应用火热的背后，是整个产业链的深层变革。对AI产业链进行分析，基础架构可以分为基建层、算法层、工作流再到应用层；AI工作流可以大致划分为模型获取、数据准备、模型训练、模型评估、模型部署再到模型监控；而AI基建层又可以划分为云服务和硬件。AI通过基建层结合算法，形成工作流，从而构建人工智能模型，进一步拓展到下游的应用层面。

想要了解AI对底层的基础建设产业链产生什么影响，就要先清楚AI数据处理的流程。AI数据处理一般分为三步：数据采集、清洗标注、模型训练。以自动驾驶模型训练为例，首先，从各种终端（如汽车、摄像头、交易记录）采集到数据，这部分数据具有海量、无结构的特点，适合存储在对象存储产品中；其次进行数据的清洗标注。一般而言，采集到的数据都较为原始，需要进行系统化的预处理，这里包含数据清洗，去除掉无效冗余的部分数据；数据标注，即根据数据的特性进行系统化标注，到最后形成标准化的数据；最后，在GPU集群进行模型训练。到这一步，会存在大量的训练数据集，利用神经网络卷积算法生成模型，并对模型进行修正。在训练的场景中，计算部分通常使用GPU来进行，通常多台GPU服务器会协同来完成同一个任务，因此存储一般采用分布式集群的存储方式。

通过分析AI数据处理流程，我们发现，在数据采集阶段，海量的数据集需要放在对象存储等云存储产品中；在模型训练阶段，多台GPU服务器需要分布式存储；虑到过去5年中模型参数呈指数增长，下一代ChatGPT这种大语言模型很可能是万亿参数模型，快速增长的模型需要足够的空间来存储。那么，随着AI的快速发展，行业内需要一个向上能够对接对象存储等云存储服务，向下能够充分利用各种存储资源组成分布式存储资源池的解决方案。这个时候，就需要存储资源盘活系统（Storage Resource Reutilization System，SRRS）。存储资源盘活系统是一个ZIP包。它可以轻松地安装在装有Linux操作系统的任何品牌、配置的物理服务器、裸金属服务器、虚拟机甚至容器实例上，既可以将各个节点整合为分布式存储集群，也可以无缝和对象存储对接，扩展存储空间。

另外，针对AI行业硬件迭代快速的特点，存储资源盘活系统与硬件驱动完全解耦，且支持硬件异构。存储资源盘活系统允许集群中的每个Linux操作系统实例具有不同的硬件配置，例如不同的CPU数量、不同的内存大小、不同的本地硬盘驱动器容量等。存储资源盘活系统会充分利用用户的全部资源来提供最好的性能，用户再也不用担心被淘汰的设备闲置了。

针对AI机房的高耗电问题，存储资源盘活系统作为一组用户态进程来运行，可以在同一个Linux操作系统实例中与其他应用程序并发运行，在不影响整体功耗的情况下大大提高了硬件利用率，也在一定程度上缓解了AI机房“耗电高”的痛点。

针对AI的数据集、模型参数规模增长问题，存储资源盘活系统采用分布式双控制器架构，像传统硬件存储阵列一样提供低延迟和高可用性，像传统分布式存储一样提供高可扩展性和高吞吐量。它可以轻松从3台服务器扩展到数千台服务器，并逐个从数千台服务器减少到3台服务器，上述过程中不会出现服务不可用的情况。对于AI行业中训练样本、模型参数的指数级增长，存储资源盘活系统可以自如应对。

在人工智能按下“快进键”的背景下，存储行业需要不断完善更加适配AI的基础设施，打造创新性的产品，深度赋能人工智能领域企业跑出“加速度”，AI应用也将在存储资源盘活系统的助力下进一步加速“走深向实”，全面推动AI产业高质量发展。