大模型的发展对存储的需求

大模型的崛起

随着今年人工智能的火热，大模型无疑成为目前最热门的技术之一。今年上海人工智能大会（WAIC）上，国家标准委指导的人工智能标准化总体组宣布，我国首个大模型标准化专题组组长由上海人工智能实验室与百度、华为、阿里等企业联合担任。

不过短短半年的时间，大模型技术就已经发展到有多家创业公司。之前的人工智能在其他行业发展，但始终难以推广，比如提了好几年的自动驾驶，到现在国内也没有多少厂商有落地的产品，特斯拉还偶尔出现一些新闻。但是，今年GPT的出现，带火了大模型的领域，让我们看到了更多使用场景的可能性，给大模型的应用带来了更广泛的讨论。

国内各个大厂也纷纷加入大模型的浪潮：华为的盘古，百度文心一言，阿里通义等等。

 

大模型对存储的需求

对于大模型来说，最重要的不是算法和框架，而是用作训练模型的数据集。GPT3用了1750亿个参数训练，现在推出的ChatGPT的参数只多不少。

而大模型指的是计算量庞大，计算复杂度高的模型，它需要占用大量的计算资源，存储空间，时间和电力，这就要求高算力。如果说数据是大模型的核心，那么存储数据就是基础。

现阶段的大模型以文本为主，但是随着大模型的不断发展，数据量会不断增加，数据类型也会扩展到音频，视频，图片。那么数据的存储也是呈指数增长，从纯文本的TB到多种数据类型的PB级，这对存储的性能也产生了更高的要求。

 

当今存储

为了满足大模型的存储计算需求，多家厂商也在加快研发存储硬件。华为在2023 MWC上海大会上透露，7月份将向全球发布面向大模型的新款存储产品。德明利产品主要包括存储卡、存储盘、固态硬盘等存储模组，目前SSD自研主控进展顺利，有望在2023Q4实现量产。

在如今AI时代下，大模型对存储带来了聚到的挑战，有着大量的数据预处理和准备工作，也抬高了硬件存储的需求，可以预见在未来几年，存储技术会不断提升。

在智算时代下，需要更大的数据量级和存储计算的能力，我们在发展技术的同时，也要注意保护各个行业的数据资产，做好数据备份。