基于BERT的大模型容量解决方案总结
1. 赛题背景1.1 趋势一:深度学习模型规模日益增长1.2 趋势二:大模型训练代价难以负担,成本高居不下2. 比赛任务3. 解决方案3.1 模型显存分析3.2 优化1:调整计算顺序3.3 优化2:层间融合3.4 优化3∶层内内存复用( Memory-Reuse Intra Layer )4. 分布式训练方案4.1 数据并行(Data Parallel)4.2 层内模型并行(Tensor Model Parallel)4.3 层间模型并行(Layer Model Parallel)
复制链接