大模型的风,还需要一个底层AI框架来落地

深度学习发展至今,语言、视觉、推荐、代码生成等多个领域相继出现一些“大模型”成果,不断刷新着人们对AI的认知与想象。深度学习依赖对大量数据的训练,而“大模型”的参数更多、函数更复杂,这样的特征使得模型所演算出来的结果更精准。随着万物互联世界的进一步发展,数据量的扩展与数据收集已不再是难题,随之而来的新命题是如何处理海量数据,并且做出更好地训练。

早在2017年,Transformer结构被提出,使得深度学习模型参数突破了1亿;2018年,BERT网络模型的提出,使得参数量首次超过3亿规模;2020年,拥有1750亿个参数的 GPT-3横空出世;2021年推出的ZionEX系统,其所支持的推荐模型大小已超过10万亿规模……

随着数据规模的指数级增长,大模型已经逐渐被认为是通过深度学习认知智能的桥梁。

然而,数据量的暴增提出了新的命题——如何跨越通信等瓶颈,提升大模型的训练效率?为了支持大模型的训练,往往需要一套大规模分布式训练框架来训练大模型。

对此,华为交出的答卷便是昇思MindSpore AI框架,原生支持大模型训练。昇思 MindSpore拥有业界领先的全自动并行能力,提供6维混合并行算法,即数据并行、模型并行、流水并行、优化器并行等能力;极致的全局内存复用能力,在开发者无感知的情况下,自动实现 NPU 内存 / CPU 内存 / NVMe 硬盘存储的多级存储优化,极大降低模型训练成本;极简的断点续训能力,可解决大集群训练故障导致的任务中断问题……通过这些特性,可以很好地解决大模型开发时遇到的内存占用、通信瓶颈、调试复杂、部署难等问题。

专注底层能力,

昇思MindSpore携手伙伴打造四大创新模型

值得注意的是,昇思MindSpore AI框架专注底层能力建设,为业界提供大模型的搭建基础。至今,昇思MindSpore AI已经携手业内领先的研究机构,推出覆盖自然语言处理、遥感影像、生物医药、多模态的的四大模型,并广泛应用在金融、医疗、农林业、制造等各个行业。

2021年5月,在华为生态大会2021「昇腾万里 共赢智能新时代」上,鹏城实验室基于昇思MindSpore推出了全球首个2000亿参数中文NLP大模型鹏程.盘古,是最接近人类中文理解能力的AI大模型。鹏程.盘古大模型具备广泛的运用场景,在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出。

2个月后,中科院自动化所联合华为基于昇腾AI和昇思MindSpore AI框架打造的全球首个三模态大模型——“紫东.太初”正式推出。紫东.太初能够实现视觉、文本、语音三个模态间的高效协同,性能全球领先,是探索通用人工智能道路上的重要成果,将在工业质检、影视创作、互联网推荐、智能驾驶等领域广泛应用。同时,依托其技术创新性和行业影响力,紫东.太初获得今年WAIC的最高奖项——卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)

除了基础大模型之外,昇思MindSpore AI框架还已支撑两个行业大模型上线——鹏程.神农和武汉.LuoJia。

鹏城实验室联合华为基于昇腾AI和昇思MindSpore AI框架打造了面向生物医学领域的人工智能平台  “鹏程.神农”。制药企业和医学研究机构使用“鹏程.神农”提供的AI能力,将大大加速新型药物的筛选与研制,让人工智能为人类的健康保驾护航。

武汉大学与华为昇腾AI团队一起,共同打造了嵌入昇思MindSpore先进技术特性的全球首个遥感影像智能解译专用框架武汉.LuoJiaNet和业界最大遥感样本库武汉.LuoJiaSET,助力遥感智能解译,为数字乡村建设、粮食安全保护、城市规划建设国计民生应用赋能。

构筑体验平台,开放大模型能力

通常,训练一个大模型的人力和资源成本都非常之高,这也就导致了普通开发者入门无道。为了让更多开发者可以体验到大模型的魅力,昇思MindSpore社区打造了一站式大模型体验平台,已在7月30日正式上线。

昇思大模型体验平台:https://xihe.mindspore.cn/

昇思大模型体验平台不仅集模型选型、在线推理、在线训练为一体,还支持了Gradio项目可视化推理、在线进行迁移学习。开发者可以在线查询基于昇思MindSpore构建的模型和数据集,并选择自己感兴趣的大模型及相关任务,如鹏城.盘古大模型的知识问答、检索和推理等、紫东.太初多模态大模型的以音搜图、以图生音和以音生图等。

实战造英雄,昇思AI挑战赛现已开幕!

Get一项新技能,最好的办法就是立个小目标,自己动手实操。

在开发者领域,底层理论的掌握程度很难代表实际开发效果。为了能让更多开发者有机会学习昇思MindSpore,探索模型算法并提升算法能力,进而为行业储备人才,推动人工智能软硬件应用生态繁荣发展,昇思MindSpore特举办昇思AI挑战赛。

昇思MindSpore还为参赛者准备了丰厚的奖品:

  • 一等奖1名,奖金5K元并颁发官方荣誉证书;

  • 二等奖2名,奖金3K元并颁发官方荣誉证书;

  • 三等奖3名,奖金 2 K元并颁发官方荣誉证书;

  • 入围复赛且通过代码审查且成功在线推理的队伍可获得证书、定制大礼包等奖品;

  • 凡是提供推理模块的队伍,均可获得参与奖。

本次AI挑战赛是面向全球 AI 开发者打造的赛事,开设多类别图像分类、文本分类、艺术家风格迁移三大赛道,涵盖 AI 基础领域。

其中图像分类是计算机视觉中最基础的任务,目前图像分类的算法仍然在飞速发展。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像分类预处理、图像分类的能力。同时为了考察参赛者应对大量数据的处理能力,本赛题采用Celtech多类别图像数据集。

文本分类研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。文本分类在AI领域承担了重要角色。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行NLP的文本处理、文本分类的能力。本赛题采用Amazon Review数据集,参赛者需要根据用户评论文本,对用户的评分进行预测(1-5分的整数)。

艺术家风格迁移赛道 图像风格迁移技术的发展在图像处理、计算机视觉、影视制作等领域均发挥着不可估量的作用。本赛题旨在让参赛者熟悉昇思MindSpore并锻炼参赛者使用MindSpore进行图像风格迁移的能力。本赛题采用梵高画作作为风格迁移的目标风格。

通过三大赛道的设置,开发者可以自由挑选感兴趣的赛道,实现从理论到实践的跨越,了解行业最新的人才需求,提升自身技能。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值