社区月报 | 昇思助力伙伴打造原生大模型,生态创新中心正式开业

昇思MindSpore2024年8月份总结

01

概述

随着8月的结束,昇思MindSpore开源社区持续保持着高速发展的态度,在技术创新、社区活动、合作拓展等方面都取得了显著的成果。

在成果方面,联合智谱打造昇思MindSpore原生的大模型训练进展良好,双方将持续展开合作,加速原生的自主创新大模型打造。

在技术发展方面,MindSpore Flow&Earth SIG实现技术突破,通过融合叠加原理的算子网络SPON,将涡轮冷却领域的Seller定理融入到网络架构中,显著提升气膜冷却场景下的温度场预测模型的精度和泛化性。同时,MindSpore Trusterd AI SIG在AI安全领域取得进展,构建了大模型自动化对抗攻击能力,其GCG算法在llama2-7b模型上的攻击成功率达到52%。

在社区运作方面,昇思MindSpore生态创新中心正式开业启动运营;此外,昇思MindSpore在多个领域助力技术创新与人才培养,通过支持大模型开发,提高训练效率和精度,并在金融、电力、科研教育等领域推动行业解决方案。同时,社区通过举办多样化的社区活动和挑战赛,以昇思学习小组、昇思25天打卡营、MSG城市行、暑期学校、创新训练营及开发者大赛等学、训、赛等形式,鼓励开发者参与创新,扩大开源社区的影响力,促进人工智能技术生态蓬勃发展。

以下是8月昇思MindSpore社区进展的详细报告。

02

社区规模

截至8月底,昇思MindSpore面向全球开发者,凝聚产业力量,持续打造人工智能创新之源。社区秉持开放透明原则,稳步建设开源生态,规模和活跃度得到持续提升。

昇思MindSpore累计下载量为790万+,2024年8月份增长了15万+

发展3.5万+多名核心贡献者;

累计产生ISSUE共39.3K、PR共98.2K

image.png

03

社区大事件

1、加速AI产业创新驱动,上海昇思生态创新中心正式开业

2024年8月31日,以“为智而昇•思创未来”为主题,上海昇思生态创新中心开业仪式在上海漕河泾科技绿洲圆满举行,在沪开启自主创新的开源AI框架和生态建设新篇章。

仪式现场,上海昇思生态创新中心正式启动运营,昇思MindSpore开源社区实习基地揭牌。多家头部企业、知名高校、顶尖科研机构合作伙伴入驻上海昇思生态创新中心,共同聚焦AI生态建设与发展,各界专家分享生态合作优秀实践,探索加速大模型创新应用落地、发展产业生态之路。

image.png

2、昇思MindSpore原生助力智谱打造自主创新大模型体系

8月19日,北京人工智能生态大会在中关村国家自主创新示范区会议中心颐和厅成功召开。会上,智谱CEO张鹏作专题分享,简要介绍了昇思对自主创新的智谱大模型的助力,以及正在打造的第四代代码模型CodeGeeX4和多模态模型CogVLM2-video。

其中,代码生成大模型CodeGeeX4的新版本基于昇思AI框架训练,依托昇思的多维混合分布式并行技术等能力,将大幅提升模型开发、训练的效率及模型精度。

image.png

3、昇思MindSpore亮相Kubecon China 2024:自动并行技术加速大模型创新迭代

8月21日至23日,由云原生计算基金会(CNCF)和Linux基金会联合主办的KubeCon + CloudNativeCon + Open Source Summit + Al_dev China 2024 在香港成功举行。

在本次大会中,昇思MindSpore布道师Selina以《提升大模型开发和训练效率:昇思MindSpore自动并行技术应用详解》为题作分享,深入浅出讲解了昇思MindSpore如何通过自动并行技术,显著提高大模型的开发和训练效率,为AI创新使能加速的实践。

image.png

4、昇思MindSpore AI框架助力行业创新,让电力大模型蓝图变蓝海

8月19日,2024年电力行业人工智能联盟年度会议在京召开。南方电网公司、华为等联盟单位集中展示了电力行业人工智能领域系列前沿技术和最新成果。

会上,华为昇思MindSpore业务副总经理孙宾表示,大模型技术已进入快速迭代演进期,其演进特征是从数据驱动走向算力驱动,大模型超长序列和多模态成为主流标配,大模型开发难度大,常稳高效训练挑战大,推理部署成本高,算力及开发迎来挑战。

image.png

04

技术进展

1物理机理赋能AI模型:突破航发涡轮温度场预测的泛化瓶颈

MindSpore Flow&Earth SIG 团队融合叠加原理的算子网络SPON(superposition-based neural operator) ,将涡轮冷却领域的Seller定理融入到网络架构中,配合相应的训练方法,显著提升了气膜冷却场景下复杂流动温度场预测模型的精度和泛化性。相关代码目前已在MindSpore Flow开源。

2、MindSpore Trusted AI SIG技术稳步提升,AI安全持平业界标杆

在AI安全方面,MindSpore Trusted AI SIG构建大模型自动化对抗攻击能力,GCG算法支持单模型多prompt对抗样本生成模式,在llama2-7b上攻击成功率达52%,基本持平友商论文实现。

05

社区动态

1、火热开赛!昇思模型开发挑战赛第二阶段赛正式开赛!

昇思MindSpore模型开发挑战赛是培养昇思MindSporer开发者,鼓励开发者基于昇思MindSpore进行模型迁移&算法创新与实践,并丰富昇思MindSpore开源社区生态。8月15日,昇思模型开发挑战赛第二阶段赛赛题正式发布,欢迎昇思MindSpore开发者踊跃参与。

image.png

2、2024年度Hackathon软件难题挑战赛等你来挑战!

2024 年度 Hackathon 软件难题挑战赛(简称“挑战赛”)如期而至,本次活动设置了昇思MindSpore相关题目,诚挚邀请开源社区的软件高手,与软件精英结对编程,一起解决关键产业和开源社区的软件难题,show出极致自我,晋级决赛还可以开展一段松山湖欧洲小镇之旅。

报名时间:8月15日-9月8日

image.png

3、昇思MindSpore高校学习小组计划启动,欢迎全国高校加入!

昇思MindSpore高校学习小组是社区与高校协同培养人工智能人才计划,在院校内围绕昇思MindSpore进行学习、科研及参与社区贡献的组织,该学习小组由高校老师协同社区专家指导学生学习昇思MindSpore相关知识、产出昇思MindSpore相关科研成果,或参与社区贡献,同时社区及社区生态伙伴整合资源为学习小组的学习与科研提供支持和赋能。

image.png

4、1000+开发者参与学习,第一期昇思25天学习打卡营圆满落幕,共同见证成长与收获!

8月初,昇思25天打卡营获奖名单正式公布,经过25天的紧张学习和不懈努力,第一期学习打卡营终于圆满落下帷幕!在这25天中,1000+开发者累计发布了近4万篇学习心得,积极分享学习心得和体会,相互激励、共同进步。其中134位同学完成25节课打卡,获得全勤奖。

image.png

5、MSG城市行·深圳站活动圆满举办

8月1日,昇思MindSpore开源社区联合优软创新(北京)科技有限公司成功举办MSG城市行·深圳站!昇思和优软创新的AI技术大咖现场进行了精彩分享。来自浙江大学深圳校友会、英国帝国理工校友会、哈工大深圳校友会、深圳珠宝玉石国际贸易中心等对AI与大模型技术感兴趣的行业专家,力求通过本次活动争取在深圳响应《深圳加快打造人工智能先锋城市行动方案》落地更多国产化人工智能+应用场景,助力打造深圳的国产人工智能生态源头创新中心。

image.png

6、领航计算生物,点亮科技火花!MindSpore SPONGE暑期学校第四季收官

8月23日-8月25日,MindSpore SPONGE第四季暑期学校活动在北京大学深圳研究生院成功举办,来自40多所全球知名高校的50+学子参与线下学习。此次暑期学校由昇思MindSpore开源社区联合北京大学化学与分子工程学院、深圳湾实验室、昌平实验室举办,以分子动力学模拟方法与实践--人工智能与增强采样为主题,旨在为对分子动力学模拟感兴趣的同学提供相关资源,学习AI+分子动力学模拟基础从理论到实践探索AI与分子动力学模拟结合的多种应用场景。

image.png

7、MindSpore Quantum SIG量子计算黑客松全国总决赛成功举办,8月直播累计观看过万

MindSpore Quantum SIG在8月份连续举办3场“量子计算组会一起开”论文直播分享,分别邀请到丁齐鸣博士(北京大学)、严格博士(上海交通大学)、曾庆国博士(南方科技大学),蔻享、B站累积观看次数达1万+;此外,线上线下同步举行了“2024 MindSpore量子计算黑客松全国总决赛”,并出席中国计算机学会量子计算年会CCF 、第八届全国量子物理青年学者研讨会、Quantum HK 2024、2024量子计算青年国际论坛等活动。

06

社区案例

1、如何用AI创造一个孙悟空:基于昇思MindSpore打造多模态风格化对话助手

在教育、客服和心理咨询等领域,服务需求往往要求个性化交互和24小时支持,这对传统模式是一个非常大的挑战。此外,特殊群体如阅读障碍学生需针对性辅导,但现有技术不足。大模型可能产生不准确内容的技术难题也需解决。

因此,北京师范大学Mate60 Pro团队在京津冀·昇思MindSpore创新训练营活动中开发了基于昇思MindSpore的多模态风格化对话助手——MSCA(MindStyle Chat Assistant),旨在通过个性化对话满足教学、文化和心理治疗需求。MSCA模拟经典文学人物如孙悟空、鲁迅等,以提供生动学习体验和文化传承,并能24小时提供心理咨询服务,创造亲切咨询环境,对心理健康处理至关重要。

image.png

2、用AI守护森林:基于昇思MindSpore打造森林山火检测系统

四川省山林火灾风险高,主要因为可燃物多、火源管理难、气候变化导致的干雷和人为活动频繁。针对以上问题痛点,成都锦城学院探火者团队提出无人机+地面采集检测系统,基于昇思MindSpore打造山火检测系统,结合人工智能目标检测和Lora无线通讯技术,通过1+X模式(一台无人机巡逻,多台地面设备全天候检测),实时采集环境数据,包含导致起火因素,并基于昇思MindSpore改进YOLOv5模型,灾害识别率高达95%。

image.png

3、昇思MindSpore助力电子科技大学人工智能教学,培养AI原生人才

当前人工智能实验教学仍以传统的机器学习算法为主,深度学习课程的实践却难以展开,面临资源不足和与产业脱节等问题。针对这些问题,建立了符合产业需求的AI实验平台与内容,降低成本,有效解决了人工智能实践教学的痛点问题,对培养创新人才至关重要。该平台通过理论实践结合,深化学生对AI的理解,提升创新和解决问题的能力,培养掌握前沿技术的跨学科AI人才。

image.png

07

技术分享

1、基于昇思MindSpore的顺序一致性正则化,提升跨域任务表现

域变化由光照、背景等属性引起,从而导致数据偏移。为减少模型对这些域特定属性的敏感性,研究者使用数据增强和一致性正则化。本文提出OCR方法,通过数据增强、残差成分分离和残差熵最大化,以提升模型对域特定属性鲁棒性,实验表明,OCR在多个跨域任务中取得了显著的性能提升,验证了其有效性和泛化能力。本研究使用了昇思MindSporeAI框架,它结合函数式和面向对象编程范式,提供灵活高效的AI训练支持。

image.png

2、基于昇思MindSpore实现噪声鲁棒的持续测试时领域自适应

多媒体边缘设备如自动驾驶汽车需实时更新模型参数以适应环境变化,但常面临由设备限制或传感器退化引起的噪声问题。本文通过添加额外的高斯噪声,发现现有方法在性能上的显著下降,这凸显了在目标域数据集中解决噪声的重要性,并提出改进持续测试时间适应(CTTA)的方法,包括软泰勒交叉熵、基于不确定性的噪声重加权和软集成负学习,以解决模型对低置信度类别的过拟合、噪声样本的影响以及标签噪声带来的挑战等。

实验证明这些方法显著提升了模型的鲁棒性和分类精度。在本次研究过程中使用了昇思MindSpore框架,得益于其高效的计算能力、灵活的编程接口以及对异构硬件的良好支持,为研究提供了坚实的技术保障,昇思MindSpore的自动并行加速技术还可以极大地提升模型训练的效率。

image.png

08

感谢每一位朋友、开发者的支持

在此感谢社区伙伴们、可爱的小孢子们以及昇思MindSpore SIG组成员们,因为大家的共同努力及辛勤奉献,昇思MindSpore才能不断成长与发展!同时我们对可能出现的不完善之处向您表示诚挚的歉意,并衷心感谢您的理解与支持。

截至2024年8月底,昇思MindSpore下载量已超过790万,未来,昇思MindSpore AI框架将持续致力于打造人工智能创新之源,凝聚产业力量,扎根AI根技术,使能大模型与科学智能,成为AI创新的首选框架。

为了更好地倾听您的声音,改进我们的产品,昇思MindSpore开源社区诚邀您参与我们的用户满意度调查,您的每一个建议都将助力昇思MindSpore的成长!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值