华为MindSpore

华为MindSpore


开源MindSpore

2019年8月23日,华为发布了全场景 AI 计算框架 MindSpore,并宣布 “MindSpore 将在2020年第一季度开源”。这是与 TensorFlow、PyTorch、PaddlePaddle 等框架竞争的一款产品。

华为在AI 框架的开发态友好(例如显著减少训练时间和成本)和运行态高效(例如最少资源和最高能效比)、适应每个场景(包括端、边缘和云)这三个方面都取得了显著进展:

  1. 在原生适应每个场景包括端,边缘和云,并能够按需协同的基础上,通过实现 AI 算法即代码,提供一系列的关键技术,例如
    MindSpore 自动微分,采用 Source 2 Source 方式实现,在性能和可编程性上,明显优于业界图和运算符重载方式。能够实现任意算子的微分表达和编译优化,同时实现反向算子自动生成,使开发态变得更加友好,显著减少模型开发时间,降低了模型开发门槛。相比手工切分的模型并行的门槛高、效率低、调优难,MindSpore 只需定义单机模型,即可自动实现多机混合并行运行,无需了解 AI 集群细节。以一个 NLP(自然语言处理)典型网络为例,相比其他框架,用 MindSpore 可降低核心代码量 20%,开发门槛大大降低,效率整体提升 50% 以上。
  2. 通过 MindSpore 框架自身的技术创新及其与昇腾处理器协同优化,有效克服 AI 计算的复杂性和算力的多样性挑战,实现了运行态的高效,大大提高了计算性能。除了昇腾处理器,MindSpore 同时也支持 GPU、CPU 等其它处理器。
  3. 全场景支持,是在隐私保护日渐重要的背景下,实现 AI 无所不在越来越基础的需求,现在已有的 TensorFlow、PyTorch
    框架,还没有任何一个现有框架支持全场景,这正是 MindSpore 的重要特色。针对不同的运行环境,MindSpore 框架架构支持可大可小,适应全场景独立部署。MindSpore 框架通过协同经过处理后的、不带有隐私信息的梯度、模型信息,而不是数据本身,以此实现在保证用户隐私数据保护的前提下跨场景协同。

MindSpore 在设备端的深度学习框架,其容量只有不到 2m 大小,运行时占用内存不到 50m。华为表示,MindSpore 同时也支持目前所有主流深度学习框架中的模型。在框架之上,华为还为开发者提供了更为高级的 ModelArts,这是一个机器学习PaaS,提供全流程服务、分层分级 API 及预集成解决方案。

相关内容:

人工智能框架相当于AI世界的操作系统,除了华为的框架,最典型的代表是谷歌的人工智能框Tensorflow、Facebook的Pytorch,并且已经大规模地投入应用。当下,巨头的智能框架基本都是基于开源模式来构建自己的生态。

昇腾910总体技术表现超出预期,已经把昇腾910用于实际AI训练任务。比如,在典型的ResNet50网络的训练中,昇腾910与MindSpore配合,与现有主流训练单卡配合TensorFlow相比,显示出接近2倍的性能提升。
华为AI架构

以上内容来源互联网,若侵权请告知。
今年的华为开发者大会 HDC 2020 上,除了**昇腾、鲲鹏等自研芯片硬件平台**之外,最令人期待的就是**深度学习框架 MindSpore 的开源**了。今天上午,华为 MindSpore **首席科学家陈雷**在活动中宣布这款产品正式开源,我们终于可以在开放平台上一睹它的真面目。 本文是根据机器之心报道的MindSpore 的开源介绍而整理的.md笔记 作为一款支持**端、边、云独立/协同的统一训练和推理框架,华为希望通过这款完整的软件堆栈,实现**一次性算子开发、一致的开发和调试体验**,以此帮助开发者实现**一次开发,应用在所有设备上平滑迁移**的能力。 三大创新能力:新编程范式,执行模式和协作方式 由**自动微分、自动并行、数据处理**等功能构成 开发算法即代码、运行高效、部署态灵活**的**特点**, 三层核心:从下往上分别是**后端运行时、计算图引擎及前端表示层**。 最大特点:采用了业界最新的 **Source-to-Source 自动微分**,它能**利用编译器及编程语言的底层技术**,进一步**优化以支持更好的微分表达**。主流深度学习框架中主要有**三种自动微分技术,才用的不是静态计算图、动态计算图,而是基于**源码**转换:该技术源以**函数式编程框架**为基础,以**即时编译(JIT)**的方式**在中间表达(编译过程中程序的表达形式)上做自动微分变换**,支持**复杂控制流场景、高阶函数和闭包**。 MindSpore 主要概念就是张量、算子、单元和模型 其代码有两个比较突出的亮点:计算图的调整,动态图与静态图可以一行代码切换;自动并行特性,我们写的串行代码,只需要多加一行就能完成自动并行。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值