昇思MindSpore技术公开课——第五课：MindSpore自动并行

关键：利用超大规模的集群训练大模型。

1.2昇思MindSpore大模型关键技术

• 大集群训练大模型有四道墙，与常规的分布式集群四道墙不同，机器学习拥有新的特征

• • 内存墙：2000亿参数的模型，内存占用745GB，训练过程会产生中间变量，需要3500GB+内存，也就是128张卡才能放下
  • 性能强：通信是主要的性能瓶颈
  • 效率墙：如何让用户高效编写分布式并行的代码？
  • 调优墙：如何保证计算的正确性/性能/可用性

• MindSpore是原生支持大模型的，核心是一个自动并行的AI编译器MindCompiler

选择并行策略通常依赖于专家的经验，但也有研究通过建立代价模型并采用优化算法来进行自动搜索，以找出相对最优的并行策略。这一功能已被集成到MindSpore中，可以自动搜索出相对较优的并行策略，达到手动配置90%的性能。这意味着，通过自动搜索，MindSpore可以帮助用户快速找到高效的并行策略，从而大大简化了并行计算的配置和优化过程。

注：具体并行策略的详解，可以去看课程对应的PPT。

1.3昇思MindSpore大模型训练案例

2、学习心得

通过这节课，首先了解了昇思MindSpore框架的基本原理和特点。昇思MindSpore是一个为AI应用开发者提供一站式AI开发服务的框架，具有易用性、高效性和可扩展性等特点。通过学习，深入理解了昇思MindSpore在支持大模型训练方面的技术优势和应用场景。

3、经验分享

学习大模型的训练和优化需要大量的实践和经验积累。多做一些实践项目，通过实践来提高自己的技能和能力，还是要多做！！

4、课程反馈

华为内部训练的实例的讲解，很加分。

5、未来展望

深入理解并应用并行策略的配置。