社区月报 | 昇思MindSpore 2.4版本正式上线，使能大模型训练加速；产业、赋能、社区活动火热开展中

最新推荐文章于 2025-03-21 16:39:33 发布

昇思MindSpore

最新推荐文章于 2025-03-21 16:39:33 发布

阅读量1.1k

点赞数 13

文章标签：人工智能深度学习算法

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/143788473

版权

昇思MindSpore2024年10月份总结

概述

随着10月的结束，昇思MindSpore开源社区持续保持着高速发展的态度，在技术创新、社区运作等方面都取得了显著的成果。

昇思MindSpore 2.4版本正式上线，原生亲和超节点、升级分布式并行能力，使能大模型训练加速。在大模型训练方面，面向新一代硬件架构超节点，推出原生长序列并行算法Ring Attention和高维张量并行优化，大幅提升模型训练效率。在调试调优阶段，提供流水并行自动负载均衡工具，自动优化集群算力和内存利用率，降低空等时间，实现Pipeline并行分钟级策略寻优。支持算子级策略传播算法（Sharding Propagation），简化模型并行策略配置过程，开发者仅需配置少量算子策略，便可以自动地将策略传播给网络中其他算子，提升调试调优效率。在大模型推理方面，提供8bit混合量化能力，支持并行解码方式、SLoRA服务化部署，并结合MindIE服务化支持PD分离部署，不断提升推理效率。

在社区运作方面，华为ICT大赛2024-2025中国创新赛报名启动，昇思MindSpore赛道鼓励学生基于昇思MindSpore打造AI创新应用以解决实际问题；期间，上海大模型公开课首期上线，助力华为ICT大赛。此外，发布新书《MindSpore大语言模型实战》，指导开发者使用昇思MindSpore框架开发大模型。同时，昇思MindSpore在多个领域助力技术创新，包括在医疗、药物研发、生物医学、大模型运用等方面，可展现昇思MindSpore的广泛应用潜力和对各行业数字化转型的促进作用。

以下是10月昇思MindSpore社区进展的详细报告。

社区规模

截至10月底，昇思MindSpore面向全球开发者，凝聚产业力量，持续打造人工智能创新之源。社区秉持开放透明原则，稳步建设开源生态，规模和活跃度得到持续提升。

发展3.6万+多名核心贡献者；

累计产生ISSUE共39.9K、PR共101K。

社区大事件

1、昇思MindSpore 2.4版本正式上线，原生亲和超节点、升级分布式并行能力，使能大模型训练加速

经过昇思MindSpore开源社区开发者们的开发与贡献，现正式发布昇思MindSpore2.4版本。

其中在大模型训练方面，面向新一代硬件架构超节点，推出原生长序列并行算法Ring Attention和高维张量并行优化，大幅提升模型训练效率。长序列并行算法Ring Attention旨在解决长序列训练时内存开销过大、出现内存瓶颈这一问题，同时提高计算与通信掩盖，实现训练性能提升。高维张量并行允许灵活控制对张量的切分次数和切分轴，支持1D、2D、3D切分，基于超节点架构带来的TP域与CP域扩展，在合适的切分策略下，实现通信占比降低、计算效率提升。

在调试调优阶段，提供流水并行自动负载均衡工具，自动优化集群算力和内存利用率，降低空等时间，实现Pipeline并行分钟级策略寻优，从而大幅降低调试调优成本、相比专家调优策略训练性能提升20%。支持算子级策略传播算法（Sharding Propagation），简化模型并行策略配置过程，开发者仅需配置少量算子策略，便可以自动地将策略传播给网络中其他算子，LLAMA类网络和Mixtral类网络策略传播算法可以降低配置80%以上的算子级并行策略，提升调试调优效率

在大模型推理方面，提供8bit混合量化能力，支持并行解码方式、SLoRA服务化部署，并结合MindIE服务化支持PD分离部署，不断提升推理效率。

欢迎下载使用：https://www.mindspore.cn/install

2、智能流体力学产业联合体第三次全体会议成功召开，昇思使能成果卓著

2024年10月13日，智能流体力学产业联合体第三次全体会议在陕西西安索菲特人民大厦成功举办，产业联合体代表及关心联合体的学术界、产业界专家共计超过两百位嘉宾现场参会。

会上，产业联合体副理事长、昇思MindSpore业务总经理丁诚在致辞中表示，2024年的诺贝尔奖颁发给AI领域的专家，证明了AI for Science的未来有无限的想象空间。华为计算产品线AI4Sci Lab技术专家王永忠博士则汇报了昇思MindSpore AI框架使能大模型全流程开发的能力及MindSpore Flow流体仿真套件相关进展，并介绍了与产业联合体伙伴们的联合创新成果。

社区动态

1、@高校开发者！华为ICT大赛2024-2025中国创新赛火热报名中

华为ICT大赛创新赛主要考察参赛学生对AI技术和ICT技术的综合应用和创新能力。参赛者从行业场景或生活真实需求出发，运用华为人工智能技术，或人工智能+鸿蒙、物联网、大数据、云计算、移动互联网等技术，实现一个具有社会效益和商业价值的解决方案。

其中昇思MindSpore赛道，要求参赛者基于昇思MindSpore打造AI创新应用，作品应用场景不限具体行业，可以面向交通、金融、农业、工业等行业，也可以面向日常生活，作品可考虑软硬件一体、端边云结合等方式，最后推荐选择通过可视化、可交互的demo来展现效果。

2、昇思MindSpore大模型公开课助力华为ICT大赛上海市赛开展

昇思MindSpore助力上海大模型公开课上线，面向全市高校开放。这是一门全程线上、轻松灵活的课程，旨在帮助学生从基础入门到进阶玩转大模型。通过本课程的学习，学生们能更好的备战华为ICT大赛，并在大赛中脱颖而出，此外，学习打卡通关之后可评选为“学习之星”，赢取精美礼品。同时，我们也为参与者提供动手实践所需的算力支持，确保每位学员都能获得最佳的学习体验。

3、@开发者，请查收新书《MindSpore大语言模型实战》

昇思MindSpore作为华为开源的AI框架，在过去的几年里使能产业界、学术界基于昇思原生、适配支持超过50个大模型。开源4年多来，昇思MindSpore已成为国内AI大模型创新的首选框架，原生支持大模型及AI+科学计算能力，以多维混合分布式并行能力，提升超大模型的训练效率，并打造MindSpore TransFormers、MindSpore One生成式套件与MindSpore Science科学智能套件，实现全流程开箱即用，大幅降低大模型全流程的开发门槛与成本。

基于此，《MindSpore大语言模型实战》一书应运而生，本书由昇思开源社区技术委员会委员陈雷老师联合昇思研发团队编写，生动展现昇思MindSpore在使能大语言模型的创新应用案例，为开发者快速上手昇思、开发大模型提供指导。

4、昇思亮相CSDN1024程序员节，共赴AI技术盛宴

本届1024程序员节以“智能应用新生态”为主题，10月24日-26日在长沙盛大举行，设置了岳麓对话、技术英雄会和8场高峰/主题论坛，邀请了200+位技术专家，1024+名程序员现场参与大会！会上，昇思MindSpore开源生态总监杨滔表示，昇思MindSpore再次突破创新的边界，推出了全新2.4版本，这一版本不仅加速了大模型的原生创新，还进一步推动了AI软硬件协同技术发展。

5、MSG城市行·大连站活动圆满举办

2024年10月30日，MSG城市行·大连站作为东北首站，走进大连医科大学顺利举办。本次活动由昇思MindSpore开源社区指导，华为技术有限公司、大连医科大学康养学院联合主办，大连人工智能计算中心承办。现场130余位昇思MindSpore开发者及相关专家学者出席本次活动。

活动现场，华为中国区技术工程师王舒心分享《昇思+ModelArts全栈操作》内容，推出了全新2.4版本；来自大连医科大学的昇思开发者宋涛带来《基于MindSpore的颌面软组织修复与再生解决方案》分享，着眼于未来健康产业，服务于广大人民群众。

6、1024模型疯狂挑战赛

模型也疯狂，10月24日，在这个属于程序员们的节日里，昇思MindSpore开源社区发起了“1024模型疯狂挑战赛”，我们邀请了模型爱好者们，将基于MindSpore AI框架2.3版本的模型迁移至魔乐社区，共同丰富社区模型，并为大家提供了价值万元的激励奖金，共同丰富魔乐社区中的MindSpore模型。

活动时间：即日起至11月10日。

MindSpore Quantum SIG在10月份连续举办3场量子计算组会一起开论文直播分享，分别邀请到李朝红老师（南方科技大学）、徐桥博士（中山大学）、赵先和博士（中国科学技术大学），蔻享、B站累积观看次数达9000+；此外，线下支撑了北京交通大学、南开大学津南校区、湖南大学、哈尔滨工程大学、哈尔滨工业大学、南京信息工程大学等6所高校行活动。

社区案例

1、用AI助力医疗诊断：基于昇思MindSpore实现角膜溃疡类型识别

由于电子产品的大量使用，如今近视群体不断扩大且低龄化发展。市场上除了框架眼镜，还有角膜接触镜，而对于角膜接触镜佩戴者，会有角膜溃疡的发生风险。本次案例基于昇思MindSpore AI框架来对角膜溃疡的类型进行识别，根据荧光素染色后表现的形状分为点状、点片混合和片状角膜溃疡。角膜溃疡的形状识别，能够帮助眼科医生做初步的筛选，减轻工作量，更好的帮助医生做出诊断。

项目代码：https://xihe.mindspore.cn/projects/G_washington/mindspore_corn

2、重阳敬老医护航，棱镜科空体携手MindSpore打造生物医药研发专精模型！

传统药物研发过程复杂、耗时且昂贵，成功率相对较低。随着人工智能和大数据技术的迅猛发展，科学家们开始探索将前沿的AI技术应用于药物研发。棱镜科空体（吉林）科技有限公司基于昇思MindSpore AI框架和昇腾AI，打造了生物医药研发专精模型。通过整合海量生物数据、化学信息和临床数据，利用深度学习和机器学习算法，提供更为精准的药物发现和设计方案，从而加速新药研发进程，降低成本，提高成功率，最终推动生物医药领域的创新和进步。

3、携手昇思，天津大学团队打造生物医学领域大模型“海河·岐伯”

天津大学智能与计算学部教授、博导、人工智能学院副院长，王鑫老师带领团队基于MindSpore原生研发面向古汉语的预训练语言大模型，孵化了生物医学领域大模型—“海河·岐伯”。

在前期研究中，针对古文的语法语义结构特性，提出了RAC-BERT模型，在继承Transformer编码器结构的同时，根据古文任务需求，对模型做出相应改进，设计了新的基于部首的预训练任务。基于前期的研究成果，为了进一步应用大模型到生物医学领域（中医药领域），对中文基座模型进行微调，使其获取识别中医药实体的能力；通过构造中医药知识图谱，处理部分中医药相关知识，设计实现了大模型结合知识图谱的问答系统，该研究成果在国内核心期刊发表论文。

4、昇思MindSpore生态伙伴优秀方案巡展 |华讯网络“华讯智能运维知识库大模型应用”

华讯智能运维知识库大模型应用，是华讯网络借助大模型技术在智能运维上的一次创新突破。该应用基于开源大语言模型、昇腾AI处理器和昇思MindSpore AI框架，通过对海量运维数据的深度挖掘和分析，构建了一个智能化的运维知识库。该知识库大模型应用不仅能够快速准确地回答各种运维问题，还能够根据实际情况提供个性化的解决方案，极大地提高了运维效率，降低了运维成本，为企业的数字化转型提供了有力的支持。

5、云译AI多语言机器翻译重塑沟通边界

在全球化浪潮中，语言障碍成为跨文化交流与国际合作的显著挑战。尤其在小语种领域，因使用人群较少，语料资源稀缺，大部分翻译公司的翻译技术都相对发展滞后。

深圳云译科技有限公司凭借自身在自然语言处理领域的深厚积累和前沿技术，依托河北人工智能计算中心的算力资源与技术支持，研发的东盟多语言机器翻译大模型，基于昇思MindSpore全场景AI框架完成兼容性测试。该模型不仅具备出色的翻译准确性，还能快速适应多种语言场景，为用户提供高效、便捷的翻译服务。

6、MindPilot：一款基于MindSpore和MindSpore NLP的开源智能助手

MindPilot是一个跨平台的多功能智能Agent桌面助手，旨在为用户提供便捷、高效的智能解决方案。通过集成先进的大语言模型作为核心决策引擎，MindPilot能够对用户的任务进行精准分解、规划、执行、反思和总结，确保任务的高效完成。同时提供了高度自定义化的Agent，用户可以根据需求自定义不同身份的Agent，以应对多样化的任务场景，实现个性化的智能服务。在MindSpore和MindSpore NLP的支持下，MindPilot支持Windows、macOS和Linux等主流操作系统，并兼容多种在线模型API和本地模型，能流畅运行在各种设备上。

github仓库：https://github.com/ResDream/MindPilot

7、基于昇思原生开发，灵犀医疗EviMed大语言模型，让AI成为您的私人医生

EviMed大语言模型依托河北人工智能计算中心的算力资源，基于昇思MindSpore AI框架，通过先进的AI算法和智能推荐规则，为用户提供综合证据搜索服务，涵盖文献、指南、说明书、临床试验、专利、资讯、政策等各类资源，帮助用户快速获取所需信息，大大提升医疗服务的便捷性和准确定。

而医学对话问答机器人“小灵”，就是EviMed大语言模型的一大落地应用。你可以像添加一位微信好友一样，随时向它提问医学问题。小灵会迅速向量检索，列出参考信息，让你的每一个问题都能得到专业、严谨的回答。

技术分享

1、基于昇思MindSpore与OrangePi AIpro的训推全流程指导

图像分类是最基础的计算机视觉应用，属于有监督学习类别，如给定一张图像(猫、狗、飞机、汽车等等)，判断图像所属的类别。本文介绍了使用ResNet50网络对CIFAR-10数据集进行分类。

训练环节，首先基于昇思MindSpore AI框架搭建ResNet50模型，完成代码开发，然后在华为云ModelArts平台，使用cifar-10数据集完成模型训练，获得mindir模型文件。推理环节，在香橙派AIpro开发板上，首先进行离线模型转换，使用convert命令将mindir模型转换为om模型，然后使用AscendCL开发推理代码，实现图像分类推理任务。