《昇思MindSpore技术公开课》—— MindSpore昇思的自动并行技术

      《昇思MindSpore技术公开课》是一门由华为自研的机器学习框架MindSpore昇思主办的在线课程，旨在帮助学习者掌握人工智能和大模型的相关知识和技能。课程由浅入深，结合了理论和实践，对想要学习机器学习特别是大模型技术的同学非常友好。

1、学习总结

课程涉及的主要概念有：

MindSpore昇思：华为开源的全场景AI计算框架，最佳匹配昇腾AI处理器算力，支持终端、边缘、云全场景灵活部署，开创全新的AI编程范式，降低AI开发门槛。

自动并行：MindSpore昇思的一种并行模式，融合了数据并行、算子级模型并行的分布式并行模式，可以自动建立代价模型，找到训练时间较短的并行策略，为用户选择合适的并行模式。

代价模型：MindSpore昇思的一种工具，用于刻画训练时间的影响因素，包括内存的计算开销和通信开销，以及不同的并行策略对训练时间的影响。

并行策略：MindSpore昇思的一种配置，用于指定每个算子的切分方式，包括切分维度和切分比例，以及张量的重排布方式。

策略搜索算法：MindSpore昇思的一种功能，用于根据代价模型和用户的目标，搜索出最优或近似最优的并行策略。

课程的关键知识点有：

如何使用context.set_auto_parallel_context()接口设置自动并行模式，以及如何配置相关的参数，如device_num、global_rank、gradients_mean等。

如何使用mindspore.parallel.set_algo_parameters()接口设置策略搜索算法的参数，如算法类型、超参数等。

如何使用mindspore.parallel.run_op()接口测试单个算子的并行策略，以及如何使用mindspore.parallel._get_parallel_info()接口获取算子的并行信息。

如何使用mindspore.parallel.export()接口导出并行策略，以及如何使用mindspore.parallel.import()接口导入并行策略.

课程的必要的相关背景知识有：

深度学习的基本概念和原理，如神经网络、反向传播、梯度下降等。

分布式并行训练的基本概念和原理，如数据并行、模型并行、通信开销等。

MindSpore昇思的基本使用方法，如安装、环境配置、网络定义、模型训练等。

课程的知识点间的相互逻辑关系如下：

MindSpore昇思是一个支持自动并行的AI计算框架，自动并行是MindSpore昇思的一种并行模式，代价模型是自动并行的一种工具，并行策略是自动并行的一种配置，策略搜索算法是自动并行的一种功能。

自动并行的目的是为了提高分布式并行训练的效率，分布式并行训练的目的是为了处理深度学习中的大数据集和大模型，深度学习是一种基于神经网络的机器学习方法。

2、学习心得

我了解了MindSpore昇思的自动并行技术的原理和优势，感受到了MindSpore昇思的强大和灵活，可以根据不同的场景和需求，自动选择合适的并行模式，提高训练效率和性能。

我掌握了MindSpore昇思的自动并行技术的使用方法和步骤，学会了如何设置并行模式、参数、算法，以及如何测试、导入、导出并行策略，可以在实际的项目中应用自动并行技术，提升我的开发能力和效率。

我对人工智能和大模型有了新的理解和感受，认识到了人工智能和大模型的发展趋势和挑战，以及MindSpore昇思的自动并行技术的重要性和价值，激发了我对人工智能和大模型的兴趣和热情。

3、经验分享

在设置自动并行模式时，需要注意device_num和global_rank的对应关系，以及gradients_mean的设置，否则可能会导致训练结果不一致或者出错。

在设置策略搜索算法时，需要根据不同的网络模型和硬件环境，选择合适的算法类型和超参数，以达到最优的训练效果。

在测试和导入并行策略时，需要注意算子的输入和输出的形状和类型，以及并行策略的切分维度和比例，否则可能会导致张量的重排布错误或者内存溢出。

在学习课程的过程中，我遇到了一个很有趣的问题，就是如何理解并行策略的切分维度和比例。我开始的时候，总是把切分维度和比例混淆，导致我无法正确地配置并行策略。后来，我通过一个简单的例子，把切分维度和比例比喻成切蛋糕的方式和数量，就很容易理解了。例如，如果一个算子的输入是一个形状为(4, 8)的张量，那么切分维度就是切蛋糕的方向，可以是0或者1，切分比例就是切蛋糕的份数，可以是1、2、4等。如果切分维度是0，切分比例是2，那么就相当于把蛋糕从上到下切成两块，每块的形状是(2, 8)；如果切分维度是1，切分比例是4，那么就相当于把蛋糕从左到右切成四块，每块的形状是(4, 2)。

4、课程反馈

课程的难度适中，内容比较全面和深入，但是有些地方需要调整和优化。比如，课程的结构和逻辑可以更加清晰和连贯，课程的语言和表达可以更加简洁和通俗，课程的示例和演示可以更加生动和实用。

课程有些知识点需要增加或者更加详细的讲解，比如，代价模型的原理和实现，策略搜索算法的原理和实现，以及不同的并行模式和策略的优缺点和适用场景。

课程的练习和实践环节安排比较合理，但是还有些环节和内容需要增加，比如，更多的实际案例和应用，更多的练习题和答案，以及更多的评估和反馈机制。

5、使用MindSpore昇思的体验和反馈

MindSpore昇思有很多设计、工具和功能是我喜欢的，比如，支持全场景的AI计算框架，开创全新的AI编程范式，提供自动并行的并行模式，以及提供丰富的文档和示例代码等。

对MindSpore昇思我有以下几点意见和建议，比如，增加更多的并行模式和策略，优化代价模型和策略搜索算法的效率和准确性，以及提高MindSpore昇思的兼容性和稳定性等。

6、未来展望

课程上学到的知识对我的学习、科研和实践活动有很大的帮助，基于课程学到的知识，我对人工智能和大模型的发展和应用有以下几点展望：

我希望能够利用MindSpore昇思的自动并行技术，训练更多的大模型，解决更多的实际问题，提升我的AI水平和能力。

我希望能够探索MindSpore昇思的自动并行技术的更多的可能性和潜力，发现更多的优化方法和技巧，提高我的AI创新和研究能力。

我希望能够参与MindSpore昇思的自动并行技术的改进和完善，贡献我的想法和代码，提高我的AI社区和影响力。

官方课程集合链接：https://space.bilibili.com/526894060/channel/seriesdetail?sid=3293489