昇思MindSpore2024年5月份总结
01
概述
在技术发展方面，华为AI4SCI Lab团队联合北京航空航天大学科学智算团队，推出新一代方程通用求解模型——智算天璇OmniArch-α，为大规模复杂动力系统的正反求解提供统一的解决方案。另外，昇思MindSpore框架进行了性能优化，提出了算子直调的方式，即正向算子执行直接调用到底层算子接口，减少整体流程和数据结构转换开销，不同API，性能提升0.5~4倍，SD文生图训练端到端性能提升2倍+。
在社区运作方面，昇思MindSpore针对高校、教师、企业及开发者等不同群体，精心策划并举办了一系列多元化的活动。这些活动涵盖了技术论坛、创新训练营、开发者大赛以及教育研修班等多个领域，旨在全方位推动昇思MindSpore技术的发展与应用，并致力于培养和挖掘更多的AI技术人才。通过这些活动的举办，昇思MindSpore不仅加深了与各参与者之间的交流与合作，更为整个AI技术领域的发展注入了新的活力和动力。
昇思MindSpore模型开发挑战赛正式启动。作为昇腾AI创新大赛2024系列赛事之一，昇思MindSpore模型开发挑战赛专注于鼓励开发者围绕昇思MindSpore的开源能力，挑战并实现算法的极致性能，欢迎大家报名参加。
02
社区规模
截至5月底，昇思MindSpore面向全球开发者，凝聚产业力量，持续打造人工智能创新之源。社区秉持开放透明原则，稳步建设开源生态，规模和活跃度得到持续提升。
昇思MindSpore累计下载量为738万+，2024年5月份增长了16万+；
发展3.1万+多名核心贡献者；
累计产生ISSUE共38.4K、PR共93.4K。
03
社区大事件
1、昇思MindSpore模型开发挑战赛正式发布
5月10日，昇腾AI创新大赛2024正式启动。昇思MindSpore模型开发挑战赛作为昇腾AI创新大赛系列赛事之一，旨在培养昇思MindSpore开发者，鼓励开发者基于昇思MindSpore进行模型&算法创新与实践，并丰富昇思MindSpore开源社区生态。
2、携手开发者，以基础软件使能AI创新——昇思AI框架及大模型技术论坛顺利举办
2024年5月11日，在鲲鹏昇腾开发者大会2024（KADC2024）期间，昇思AI框架及大模型技术论坛顺利举办。该论坛聚焦于昇思MindSpore AI框架技术与使能大模型创新成果，7位来自昇思MindSpore开源社区各行各业的专家分享了框架技术及大模型创新成果实践，现场上百位高校科研院所、企事业单位AI开发者参会，共同探讨AI框架及大模型创新的技术发展趋势。
此外，昇思MindSpore还设置了hands-on（动手实践）和展览展示环节。任务趣味性强，开发者众多，现场氛围超常火爆，3天累计接待1500+位客户，1100+位开发者完成任务体验。
3、昇思创新训练营·深圳站成功举办！
5月25-26日，昇思MindSpore创新训练营·深圳站在中山大学深圳校区顺利举办，本次训练营将大模型理论与实践紧密结合，致力于打造一个充满挑战与创新的学习环境，让学员们在探索中学习，在学习中成长。通过一系列深入浅出的讲解、丰富的案例分析以及动手实践的机会，本次活动不仅让每一位参与者在技术上获得显著提升，实现个人能力的飞跃。也通过团队合作和相互交流，激发了学员们对人工智能技术的热情和探索精神。
4、华为ICT大赛2023-2024全球总决赛圆满落幕，昇思MindSpore开发者参赛成绩斐然
2024年5月26日，华为ICT大赛2023-2024全球总决赛闭幕式暨颁奖典礼在深圳举行。本届大赛为历届最大规模的华为ICT大赛，共吸引了全球80多个国家和地区、2000多所院校、17万余名学生报名参赛，经过国家赛、区域赛层层选拔，最终来自49个国家和地区的161支队伍、476名参赛选手脱颖而出，进入全球总决赛并获得各奖项。其中，共有9支队伍使用MindSpore框架荣获特等奖，包括，实践赛5支队伍，创新赛4支队伍。
5、昇思MindSpore技术行暨智能基座昇腾高校行2024顺利举办
2024年5月29日，昇思MindSpore技术行暨智能基座昇腾高校行2024在上海交通大学顺利举办。在本次活动中，华为运营专家对刚刚开启的2024全国昇腾AI创新大赛进行了赛事解读，同时，2023年昇腾AI创新大赛获奖选手也给大家分享了相关获奖经验。
此外，昇思MindSpore技术专家Rui老师带领高校开发者们进行MindSpore深度学习，探究MindSpore总体架构下，如何通过MindSpore框架推导并解决大规模分布式面临的开发效率、训练性能、推理成本三大挑战，帮助同学们构筑MindSpore框架的知识基座。
6、全国高校计算机类课程能力提升高级研修班(2024年第四期)在西安召开
2024年5月18日至19日，全国高校计算机类课程能力提升高级研修班(2024年第四期)在陕西省西安市华为技术有限公司西安研究所召开，来自全国10所高校的近90位教师参加了此次培训，共同讨论昇思MindSpore在大模型领域的实践应用。
本次研修班由教育部高等学校计算机类专业教学指导委员会和全国高等学校计算机教育研究会主办、清华大学出版社与华为公司共同协办。其中，《MindSpore大模型训推微调实践》课程培训由西安交通大学软件学院魏星副教授，华为吕昱峰、邢译壬老师担任讲师，10所知名高校的53位教师共同参与。
7、中科视语基于昇思MindSpore打造视语坤川大模型，赋能智慧交通等多领域行业
5月11日，昇思AI框架及大模型技术论坛，在北京圆满举办。会上，中科视语（北京）科技有限公司副总经理赵旭围绕“视语坤川大模型研发及行业应用案例”发表主题演讲。中科视语融合大模型技术，基于昇腾AI硬件与昇思MindSpore AI框架，打造出了面向行业的大模型——视语坤川。这一模型不仅具备强大的学习能力，还能结合行业特有的历史数据、经验知识和业务流程，为行业带来前所未有的突破。
8、软通动力携手昇思MindSpore打造大模型训推一体机解决方案，赋能企业建设大模型能力
现阶段，在各行各业的规模化应用落地方面，大模型面临着精准度不够、与业务系统联动不足、数据安全担忧、算力成本居高不下等问题。软通动力基于当前企业建设大模型的难点和挑战，融合多年丰富的行业经验，携手昇腾AI和昇思MindSpore AI框架，打造大模型训推一体机解决方案。
作为自主创新的软硬一体解决方案，软通AI训推一体化平台支持大规模集群计算环境下NPU等异构计算资源按需、高效、自动调度，可为客户提供数据中心、开发中心、训练中心、模型中心、服务中心等一站式服务能力。
9、“万物昇”昇思MindSpore技术培训班在上海顺利举办
5月24日，“万物昇”昇思MindSpore技术培训班在上海顺利举办。此次培训经过系统的深度学习和贴近真实业务场景的技术实践，切实为行业伙伴直面实际业务场景中的难点与痛点问题给予有效支持。同时，本次培训也为昇思生态的合作伙伴提供了一个坚实的技术对话平台，加深了参与者对昇思MindSpore的理解应用，进一步推动昇思AI技术的开拓创新及行业发展。
10、「智启未来」| 2024昇腾AI金种子实训班（合肥站）“皖”美收官
5月18日，一场旨在加速安徽省人工智能领域人才培养与技术创新的重要活动——2024昇腾AI金种子实训班（合肥站），在热烈的气氛中圆满结束。在本次活动中，昇思MindSpore布道师李海涛深入剖析MindSpore大模型原生开发，展示了MindSpore Transformers套件如何覆盖大模型的原生开发流程，包括开发、训练、微调、评估、推理和部署等各个环节。
11、累计观看过万，MindSpore Quantum SIG 5月份陆续举办6场直播分享
昇思MindSpore Quantum SIG在5月份连续举办3场量子计算组会一起开论文直播分享，分别邀请到冯嘉进博士（北京大学）、苏国贤博士（中国科学技术大学&海德堡大学联培） 、倪晓慧博士（北京邮电大学）分享论文，蔻享、B站累积观看次数达1万+。
此外，昇思MindSpore Quantum SIG还进行了3场关于“第六届•2024 MindSpore 量子计算黑客松”初赛的赛题直播宣讲，参赛选手的积极性非常高，目前报名人数达到500+，覆盖了180+所高校。
04
技术进展
1、实现数理方程的“AI大统一”！基于昇思MindSpore打造的北航智算天璇基础模型OmniArch首次亮相
华为AI4SCI Lab团队联合北京航空航天大学科学智算团队，推出新一代方程通用求解模型——智算天璇OmniArch-α，为大规模复杂动力系统的正反求解提供统一的解决方案。该项成果在鲲鹏昇腾开发者大会2024上首次亮相，并计划在下半年正式推出。
目前，在全球范围内，北航智算天璇（OmniArch）模型首次实现了对1D、2D、3D的PDE数据的联合训练，实现了几十类正反求解问题的统一求解，在zero-shot的数据集上，相比现有的SOTA方法精度提升1个数量级。
2、动态图：算子直调提升API性能
在昇思MindSpore框架中，大部分的API使用了小算子进行拼接，因此会有额外的Python和算子launch开销。此外当前MindSpore动态图单算子执行时，使用了单算子子图进行执行，需要进行单算子子图构图，编译优化，算子选择，算子编译等一系列操作，首轮性能较差。针对这两点进行性能优化，提出了算子直调的方式，即正向算子执行直接调用到底层算子接口，减少整体流程和数据结构转换开销。不同API，性能提升0.5~4倍，SD文生图训练端到端性能提升2倍+。
05
社区案例
1、中科昇腾推出全新AI微服务产品，加速大模型应用
中科昇腾（西安）科技有限公司宣布推出其最新的AI微服务产品——数智赋能引擎AIM，旨在全方位加速大模型应用，支持私有化部署，助力客户完成数字化、智能化的转型升级。
AIM支持多种AI模型，包括开源社区模型、昇思MindSpore AI基础模型以及昇腾AI产业生态众多合作伙伴提供的自定义AI模型。通过提供微服务和云端端点目录，开发者能够更快速、方便地构建和部署AI应用，满足不断变化的市场需求。
2、香橙派Ai Pro开发板预置昇思MindSpore，助力开发者玩转模型创新
昇思MindSpore开源社区与香橙派紧密合作，共同攻关实现香橙派Ai Pro开发板的系统镜像预置昇思MindSpore AI框架。在后续版本迭代中，持续演进并已支持MindSpore官网教程涵盖的全部网络模型。香橙派Ai Pro开发板向开发者提供的官方系统镜像包括openEuler版本和ubuntu版本，两个镜像版本均已预置昇思MindSpore，便于用户体验软硬协同优化后带来的高效开发体验。
06
技术分享
1、基于昇思MindSpore具有可解释自适应优化的联邦因果发现
因果发现作为一种从观测数据中发现其背后的潜在因果结构与生成关系的研究方向，受到多个学科领域的广泛关注与研究。然而，因果发现算法受限于数据的数量和质量，这要求研究者从多个机构或地域中采集数据并用于因果结构学习，而随着隐私意识的增强，以及不同机构、地域的数据之间存在分布差异，从而产生了一系列问题。
为了解决这些问题，文中所提到的方法将联邦因果模型的局部和全局优化统一为一个具有一致性优化目标的完整DAG学习过程。作者同时证明了算法的优化目标可以被灵活的解释为两种形式以自适应的处理分散在不同机构或地域的同构和异构数据。
2、基于昇思MindSpore的多维度公平性联邦学习
在联邦学习领域中，群体公平和客户端公平是联邦学习领域中两个重要的亟需解决的公平性问题。本文提出了一种有效的方法mFairFL。mFairFL将优化问题定义为一个具有群体公平约束的极大极小问题，并在全局模型训练时调整有冲突的客户端梯度的大小和方向，以同时实现群体公平和客户端公平。理论研究和实证结果都验证了mFairFL的有效性。
3、探索多种AI大模型：自然语言与生物信息的完美交汇
该综述提供了对生物分子与自然语言整合新兴领域的全面审查。首先详细介绍了各种生物分子表示形式，如图和序列，突出了它们在生物研究中的重要性。然后探讨了整合背后的直觉和目标，强调了将生物分子数据与自然语言相结合的好处，以增进理解和获得新见解。接着，深入探讨了不同的学习框架，如基于GPT的训练和多流模型，并探讨了表示学习的复杂性，涵盖了训练任务和策略等方面。还展示了该整合方法在各种应用中的益处。此外，收集了关于数据集/基准、模型和代表性基准摘要的资源，以促进该领域的研究与发展（详情资源见原文）。
4、基于昇思MindSpore梯度差异最小化的联邦多源领域泛化
本文研究模型在不同端上部署（数据去中心化）场景下的多源领域泛化问题, 设计了一个基于梯度差异最小化的联邦多源领域泛化方法。本文提出域内梯度匹配来学习数据的本质语义信息以便提升模型的跨域泛化能力，同时提出域间梯度匹配来减小去中心化场景下相互独立的各个源域之间的域差异。我们使用昇思MindSpore架构实现了所提出的算法并展现其在效率和准确性上的优势。
5、基于昇思MindSpore实现图文检索的外部空间注意力聚合
这篇文章中跳出了目标级注意力的思想框架，并提出了可即插即用的外部空间注意力聚合ESA，可以实现在空间语义维度层级上灵活聚合辨别性信息。我们还提出了自扩展三元组损失SEL，通过将样本点转化为局部空间来约束表示空间对齐。在多个backbone组合下的大量实验证明我们的方式在保证高效推理的同时实现更优越的性能。我们方法没有采用视觉语言预训练VLP，在检索速度和性能上就超过采用相同backbone但是用了更多预训练数据的VLP方法。这是一个有希望的结果并可能启发更多图文检索的工作通过表示向量的维度角度研究有效且高效的检索方法。
6、高阈值、低冗余的容错量子内存：双变量自行车码
随着量子计算的产业逐年扩大，量子硬件不断规模化，量子比特数上升到1000量级。在此规模的NISQ硬件上，能否实现有效的量子算法？能否通过编码出高质量的逻辑比特来提升计算能力？能否更高效的编码出数量更多的逻辑比特？针对这些问题，IBM团队提出了基于qLDPC码的高编码率编码方案，例如可以用144个物理比特编码出12个逻辑比特，四月发表在Nature上。
本文是qLDPC第一篇登上Nature的理论文章，且以数值计算为主，反应了基于qLDPC码的高编码率量子纠错码对实现容错量子计算的重要性。
点击查看原文：https://mp.weixin.qq.com/s/j5mjz_d3FwoMN9b4IVRbcQ
7、量子退火中的误差缓解
量子计算在某些问题的解决效率上有着超越经典计算机的潜力，但目前的量子计算机比特数量较少，且含有一定噪声，如何减小噪声的影响，是一个非常有挑战性的问题。本期内容介绍一种在超导量子退火机上可用的零误差外推误差缓解方法，该方法包括“零温度外推”和“能量-时间重缩放”。通过该技术，可以使量子退火芯片的相干演化时长增加一个数量级，从而推进量子算法的实用化。
点击查看原文：https://mp.weixin.qq.com/s/HTA-kFlLwOQrqixw5keWGA
07
感谢每一位朋友、开发者的支持
在此感谢社区伙伴们、可爱的小孢子们以及昇思MindSpore SIG组成员们，因为大家的共同努力及辛勤奉献，昇思MindSpore才能不断成长与发展！同时我们对可能出现的不完善之处向您表示诚挚的歉意，并衷心感谢您的理解与支持。
截至2024年5月底，昇思MindSpore下载量已超过738万，未来，昇思MindSpore AI框架将持续致力于打造人工智能创新之源，凝聚产业力量，扎根AI根技术，使能大模型与科学智能，成为AI创新的首选框架。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
