从BERT到ChatGPT：大模型训练中的存储挑战与技术发展

摘要

       以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，引起了工业界和学术界的广泛关注. 大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势. 

       本文首先分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大. 然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术. 针对大模型训练的存储加速技术包括：1）基于大模型计算模式的分布式显存管理技术，依据大模型计算任务的划分模式和计算任务间的依赖关系，设计模型数据在分布式集群中的划分、存储和传输策略；2）大模型训练访存感知的异构存储技术，借助大模型训练中的访存模式可预测的特性，设计异构设备中的数据预取和传输策略；3）大模型数据缩减技术，针对大模型数据的特征，对模型训练过程中的数据进行缩减. 针对大模型训练的存储容错技术包括：1）参数检查点技术，将大模型参数存储至持久化存储介质；2）冗余计算技术，在多张GPU中重复计算相同版本的参数. 最后，给出了总结和展望.   

内容简介

       1.分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大.

       2.分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术.

       3.给出了总结和展望.

亮点图文