【昇思MindSpore技术公开课】第十三讲多维度混合并行自动搜索优化策略课程预告

昇思MindSpore公开课大模型专题第二季课程火爆来袭！未报名的小伙伴抓紧时间扫描下方二维码参与课程，并同步加入课程群，有免费丰富的课程资源在等着你。课程同步赋能华为ICT大赛2023-2024，助力各位选手取得理想成绩！

扫码报名

在超大规模 AI 模型的训练中，结合多种并行维度的分布式训练是提高模型训练性能的必要手段。而自动搜索最优的多维度混合并行策略是实现AI模型高效训练的难题，现有方法未能同时兼顾质量和效率。

针对这项挑战，电子科技大学教授、博士生导师、先进计算实验室主任田文洪及其团队提出了基于昇思MindSpore实现的并行策略自动搜索算法与原型系统，分钟级完成典型Transformer类大模型的策略搜索，模型训练性能达成手动调优的90%，并基于项目成果已经发表了两篇顶会论文。

在本周六（2024年5月25日）昇思MindSpore技术公开课大模型专题课程的第十三讲中，我们有幸邀请到了田文洪教授团队，来为多维度混合并行自动搜索优化策略进行深度技术解读。介绍数据并行和流水线并行下对并行训练时间损失的数学建模、流水线优化划分方案的改进、APSS算法讲解，以及进行APSS算法求解分布式策略的实践演示。

2024年5月25日 14：00-15：30，关注【MindSpore官方】B站直播间，探索多维度混合并行自动搜索优化策略，我们不见不散！

◆ 往期回顾◆

GitHub代码仓二维码

扫码获取昇思MindSpore技术公开课往期课程资源
昇思MindSpore技术公开课课程资源：https://github.com/mindspore-courses/step_into_llm