AIGC内容分享(六)：AIGC世界的IO特征研究

目录

引言

第一章节 LLM&AIGC时代的计算架构特征  

第二章节 AIGC时代的存储主要挑战 

第三章节 LLM&AIGC时代的元数据挑战  

第四章节 LLM&AIGC时代的IO特征分析  

结论  

---

引言

在以前做传统块存储的时代，我们针对很多的行业做了workload的调研，包含块大小、随机读，读写比例等等，在传统存储场景，知道行业的workload对于预估业务的IOPS性能有很好地指导意义，其次，也可以制作针对行业的存储配置最佳实践。

很多年前获取这些信息是一个比较难的过程，毕竟传统的存储设备是直接销售到了客户的现场，缺乏有效地权利来获取运行信息，一般都是在进行性能调优及其他配置升级的时候进行获取的，这些很大意义上对于很多客户来说也算是机密数据。

针对AIGC的场景，我其实是比较好奇的，大模型的训练和推理对于存储的诉求怎么样？因为我们在太多的PPT里面听到的描述是，大模型训练对于存储有高性能的诉求，到底多高的性能、什么样的特征，从来语焉不详，今天我们解读weka的一个报告，来看看他们所谓的AIGC领域的存储IO特征。

第一章节 LLM&AIGC时代的计算架构特征  

存储的变化都是基于计算和存储介质造就的。在最早的IBM大型机时代是提供大型机适配的大硬盘（那是IBM的专属时代，虽然有少量的兼容机厂商也在做。

随着介质的变化，小型的硬盘和内存技术兴起，更多的是商务的大幅下降，催生了阵列存储的产生，并且快速的替代了大硬盘。其后随着关系型数据库这个上一个时代最值钱的数据不断的发展，产生了各种的高端存储，架构也随着一些硬件技术的进步做了很多的演进，从scale-out到scale-out，但是依然是价格高企，单价居高不下。    

高端存储的PPT里面宣传的主要方向是高性能、高可靠、高扩展，各种名词堆上去的企业级存储平台。心情好的话我们再加点对于业务的描述，比如说business-critical 、mission critical。为什么MK