社区月报︱昇思人工智能框架峰会，12月14日相约北京，不见不散～

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/144428059

昇思MindSpore2024年11月份总结

01 概述

随着11月的结束，昇思MindSpore开源社区持续保持着高速发展的态度，在技术创新、社区运作等方面都取得了显著的成果。

昇思MindSpore将于12月14日在北京举办昇思人工智能框架峰会，此次大会邀请思想引领者、专家学者、企业领袖、卓越开发者等产学沿用相关各方参会，探索人工智能框架技术趋势、分享创新成果与实践经验。昇思MindSpore期待您的到来！

在技术案例方面，北京大学董彬教授团队联合华为AI4SCI Lab开发的基于昇思MindSpore AI框架的二维偏微分方程基础模型PDEformer-2，能够处理任意形式的PDE，并支持多种求解任务，为物理现象研究提供了强有力的支持。此外，基于MindSpore NLP的BLIP-2模型实现、携宁科技AI智能体“小妍助手”系列工具、FastSAM-MindSpore图像分割技术等多个优秀案例也展示了昇思MindSpore框架的强大能力和广泛应用前景。

在社区运作方面，第三期和第四期的昇思MindSpore学习打卡营圆满结束，同时第五期NLP特辑也正式上线；此外，在上海成功举办的“校园行”与“城市行”活动，极大激发了高校学生对昇思MindSpore的兴趣。为鼓励更多基于昇思MindSpore进行原生创新，本月还发布了多篇基于昇思MindSpore的原生论文，这些成果不仅展示了该平台的强大功能，也为人工智能技术的发展注入了新的活力。

以下是11月昇思MindSpore社区进展的详细报告。

02 社区规模

截至11月底，昇思MindSpore面向全球开发者，凝聚产业力量，持续打造人工智能创新之源。社区秉持开放透明原则，稳步建设开源生态，规模和活跃度得到持续提升。

发展3.7万+多名核心贡献者；

累计产生ISSUE共40.3K、PR共102.5K。

03 社区大事件

1、叮！请查收昇思人工智能框架峰会暨成果发布会邀请函

昇思MindSpore开源社区将于2024年12月14日（星期六）在北京举办昇思人工智能框架峰会。本次大会邀请院士、专家、学者、企业领袖、卓越开发者等产学研用相关各方参会，探索人工智能框架技术趋势、分享创新成果与实践经验。

组委会诚挚邀请各位伙伴莅临现场，聆听精彩分享、观摩前沿科技，携手昇思使能百模千态，助力千行万业拥抱全面智能化时代。

2、北京大学科研团队发布PDEformer-2——基于昇思MindSpore的二维偏微分方程基础模型

11月4-6日，汇集AI for Science领域“产、学、研、用”方向单位，旨在共同思考AI在科学研究中的应用与未来的“2024科学智能峰会”在北京召开。会上，北京大学董彬教授发布了其团队联合华为 AI4SCI Lab 基于昇思MindSpore AI框架开发的PDEformer-2模型。

PDEformer-2是一种可以直接处理任意 PDE 形式的端到端解预测模型，同时适用于含时与不含时的方程。模型使用约 40TB 的数据集进行预训练，能够对具有不同边界条件、求解区域、变量个数的二维方程直接推理，快速获得任意时空位置的预测解。此外，PDEformer-2 作为正问题解算子的可微分代理模型，也可以用于求解各类反问题，包括基于有噪声的时空散点观测进行全波反演以恢复方程中的波速场等。这为模型支持包括流体、电磁等领域的众多物理现象及工程应用的研究打下良好基础。

3、基于昇思MindSpore打造的药灵大模型SciMind赋能新药研发

在华为全联接大会2024的昇思MindSpore专题论坛中，中国科学院上海药物所研究员，质子展开联合创始人郑明月研究员分享了《基于昇思MindSpore打造药物学大模型赋能新药研发》报告。郑明月团队与华为昇思团队、华为中央研究院先进计算与存储实验室共同开发药灵大模型，在药物领域知识提取、合成规划和多模态交叉下游任务等可以实现工业级可用，为生物医药领域带来了巨大的助力。药灵大模型SciMind包含以下四个创新应用场景：专利数据解析服务、国产化学信息数据库、多模态交互应用、化学合成规划。这些应用场景展示了SciMind在化学和生物信息处理领域的强大实力和广泛应用前景。

04 社区动态

1、昇思MindSpore学习打卡营再出发！

第三期和第四期昇思MindSpore学习打卡营圆满结束。两期打卡营，课程视频累计观看次数9000+次，1000+开发者累计发布了近1900+条学习心得，积极分享学习心得和体会，相互激励、共同进步。经过课程打卡数据统计，191位同学完成全勤打卡，获得结营证书。

第五期昇思MindSpore学习打卡营也在十一月份正式上线，为大家打造一套系统性的NLP课程，从PEFT微调、到数据并行训练、到LLM推理、到应用开发，一套课程协助大家从入门到开发。无论是AI入门开发者，还是学生，或者是AI行业从业者，都可以在本次打卡营获得属于自己的能力提升。（活动时间：2024.11.30-2025.1.18）

2、昇思MindSpore与香橙派合作提速，软硬结合助力开发者构建创新AI应用

近日，昇思MindSpore开源社区与香橙派合作成果加速落地，持续为开发者提供普惠的端侧算力与好用的AI框架。目前，昇思MindSpore AI框架已实现预置在香橙派AIpro开发板，并在官方网站上线开发指导教程，下一步将推出更多预置模型，助力开发者学习、应用。

此外，众多昇思赛事中均增设了基于昇思MindSpore+香橙派AIpro开发板的开发场景，如昇思AI创新大赛高校赛道、第九届华为ICT大赛创新赛、第九届华为ICT大赛教师赛等，鼓励参赛选手们将软件与硬件相结合，构建如机械狗、智能小车、机械臂等全新的具身智能解决方案。

3、MindSpore校园行暨司南超级孵化器大模型公开课顺利举办

11月8日，MindSpore校园行暨司南超级孵化器大模型公开课在临港司南超级孵化器顺利举办，来自上海电机学院的50名高校开发者参与活动。会上，昇思布道师为大家带来昇思MindSpore开源AI框架技术入门分享，现场氛围热烈，同学们对昇思MindSpore高校学习小组学习资源和竞赛活动等表示浓厚兴趣。

4、MSG城市行·上海站活动圆满举办

11月14日，MSG城市行·上海站走进上海理工大学顺利举办。本次活动由昇思MindSpore开源社区指导，华为技术有限公司、上海理工大学联合主办，上海昇腾人工智能生态创新中心联合举办。活动现场，昇思MindSpore布道师带来昇思2.4版本加速大模型原生创新主题分享，介绍了昇思MindSpore原创多副本、多流水交织并行等技术。同时，布道师为同学们介绍了昇腾高校生态，依托昇思开源社区和昇腾社区，围绕“学、练、训、赛”帮助高校开发者从成长到成功的全历程。此外，上海理工大学昇思开发者也分享了他们在昇思的学习心得，以及参加第七届CCF开源创新大赛的比赛经验。

5、MindSpore Quantum SIG多次参与高校行活动布道，11月直播累计观看过万

MindSpore Quantum SIG在11月份连续举办5场量子计算组会一起开论文直播分享，分别邀请到李行老师（清华大学）、叶梦博士（复旦大学）、大川英希老师（中国科学院高能物理所）、丁泳程博士（巴斯克大学）、丁晨博士，蔻享、B站累积观看次数达1.6W+，线上举办了为期2天的MindSpore Quantum量子软件编程精品课，线下在北京举办了MindSpore Quantum量子软件交流会和支撑合肥工业大学高校行。

05 社区案例

1、基于MindSpore NLP实现BLIP-2模型

BLIP-2 提出了一个新的高效预训练策略，用于解决视觉和语言联合学习任务中的计算成本问题。相比其他模型，BLIP-2 的最大创新点在于，它引入了冻结的预训练图像编码器和冻结的大型语言模型（LLM），通过一个轻量级的查询转换器（Querying Transformer, Q-Former）来弥合视觉和语言的跨模态差距。

完整代码已经上传到 GitHub 仓库中，您可以通过以下链接访问并运行：

BLIP-2 MindSpore NLP 图文检索评估代码：https://github.com/fanxing-6/MindNLPBlip2ImageTextRetrievalEval

2、昇思MindSpore生态伙伴优秀方案巡展 | 携宁科技 AI智能体“小妍助手”系列工具

“小妍助手”是一款聚焦金融业务领域的AI系列产品，依托昇思MindSpore大模型使能套件进行大模型快速微调，可以精准识别观点分类、会议主题等关键信息要素，为金融专业人士提供知识问答、法律法规咨询、合规检查、研报编写辅助等智能服务，让金融工作更高效、更智能。同时，“小妍助手”采用本地化部署方式为用户提供服务，确保用户数据的隐私与安全。

3、FastSAM-MindSpore：加速图像分割的革命性技术

随着技术的发展，分割任意模型（SAM）在图像分割、图像描述和图像编辑等任务中发挥了重要作用。为解决SAM的高计算成本的限制问题，中科院自动化所提出FastSAM模型。

FastSAM-MindSpore通过将任务转换为实例分割任务，并仅使用SAM作者发布的SA-1B数据集的1/50数据直接训练现有的实例分割方法，实现了与SAM相当的性能。这种方法不仅减少了数据需求，也降低了训练成本。目前FastSAM-MindSpore已支持快速部署到边缘设备，使模型能快速应用于实际场景中，如列车部件状态检测、矿石颗粒自动分割和器官、组织、细胞分割等。

06 技术分享

1、昇思MindSpore原生论文 | 波洛克风格迁移绘画的分形和湍流特征提取及NFT标签生成

本研究旨在探讨如何将深度学习、分形分析和湍流特征提取相结合，以生成波洛克风格的抽象艺术作品，并通过NFT技术实现数字藏品的唯一性认证。这一研究不仅为数字艺术品的创作提供了新的技术路径，也为其在区块链平台上的认证和交易提供了可靠的解决方案，具有重要的理论价值和实际应用潜力。

具体而言，研究首先利用昇思MindSpore深度学习框架和预训练的VGG19模型进行神经风格迁移，从内容图像和风格图像中提取深层特征，通过优化生成高质量的波洛克滴画风格图像。为了确保每件生成的数字艺术品具有唯一性，将分形维数和湍流特征整合为统一的特征向量，并通过SHA-256加密哈希算法生成唯一的Token ID。该Token ID作为NFT标签的一部分，记录在区块链上，确保每件数字作品的不可篡改性和可追溯性。

2、昇思MindSpore原生论文 | 基于双向长短时记忆网络-注意力机制的高效机器翻译模型Miniformer

随着自然语言处理（NLP）技术的迅速发展，机器翻译的准确性和效率已成为研究的热点话题。本研究提出了一种新的Seq2Seq模型，旨在平衡模型的效率与性能。该模型使用双向长短期记忆网络（Bi-LSTM）作为编码器，充分利用输入序列的上下文信息，使模型能够捕获输入序列前后的内容信息，从而增强对源语言的理解。至于解码器部分，我们引入了注意力机制，这不仅提高了模型在源语言中聚焦关键信息的能力，还使得解码过程更加灵活和动态。凭借这种设计，我们的模型能够在保持较小模型尺寸的同时，更准确地捕捉源语言与目标语言之间的复杂映射关系。

3、昇思MindSpore原生论文 | 一种新型的边缘计算模型访问控制和隐私增强方法

随着边缘计算技术及深度学习模型的日益普及，模型和数据的安全风险与隐私威胁日益加剧。现有的模型访问控制技术主要依赖传统的加密和认证方法，而这些方法在动态环境中的灵活性和适应性方面存在显著限制。

为了解决这些挑战，提出了一种专门针对边缘计算环境的全新模型访问控制方法。该方法利用图像风格作为许可机制，将风格识别嵌入到模型的操作框架中，从而实现内在的访问控制。因此，部署在边缘平台上的模型仅能对特定风格的许可数据进行正确推理，对于任何其他数据则无法进行有效推理。通过限制输入数据的类型，该方法不仅防止了攻击者对模型的未经授权访问，还增强了终端设备上数据的隐私保护。

4、昇思MindSpore原生论文 | 一种基于MindSpore框架的讽刺识别模型CGL-MHA

随着自然语言处理（NLP）技术的快速发展，讽刺检测的准确性和效率成为当前研究的重点话题。本研究提出了一种创新的CGL-MHA模型，旨在平衡讽刺检测任务中的模型效率与性能。该模型采用卷积神经网络（CNN）作为初步特征提取模块，识别文本中的局部模式和n-gram特征，有效捕捉可能包含讽刺信息的短语。在序列建模部分，编码器引入了门控循环单元（GRU）和长短期记忆网络（LSTM），前者专注于捕捉短期依赖关系，而后者能够处理长距离的上下文信息，两者的结合增强了模型对讽刺性文本的复杂依赖关系的理解。

5、通用分子结构建模网络ViSNet

尽管几何深度学习已经彻底颠覆了分子建模领域，在理解生物活性机制、化学性质预测、药物设计和蛋白质工程方面发挥关键作用，但依旧存在一些有待解决的问题和局限性，包括分子可解释性不足、计算成本问题以及在实际应用中的盲目测试和评估等，为了解决这些难题，微软研究院科学智能中心的研究员们提出通用分子结构建模网络ViSNet (Vector-Scalar interactive graph neural Network)。

ViSNet通过引入精心设计的运行时几何计算（RGC）策略和向量-标量交互等变消息传递（ViS-MP）机制，实现了其加速分子动力学模拟的目标，使大型分子系统的模拟精度接近从头算法。这是一个在分子建模领域具有突破性的模型，它通过结合先进的机器学习技术和精心设计的网络架构，提高了对分子系统模拟的准确性和效率。

6、生物医药领域分子对接SOTA模型洞察

本文综述了分子对接技术的定义、应用、现有软件性能评估及最新进展等。分子对接是一种计算技术，用于预测受体和配体之间通过相互匹配而识别形成的分子复合物结构，常用于研究药物和受体相互作用。文章还介绍了几种分子对接方法，如KarmaDock、DiffBindFR和RosettaVS。实际应用中，采样性能与打分性能往往不能兼顾，因此在模型迁移选择上应该重点关注模型的长板特征而非综合性能。在药物发现应用领域，除了分子对接模型的开发以外，超大规模虚拟筛选的开源、可扩展平台的开发也至关重要。