MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架

最新推荐文章于 2024-07-13 10:20:22 发布
最新推荐文章于 2024-07-13 10:20:22 发布
阅读量1k 收藏 4
点赞数
文章标签： 深度学习 开源 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/china365love/article/details/127981675
版权

MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生支持，以及软硬件协同优化。

同时，MindSpore作为全球AI开源社区，致力于进一步开发和丰富AI软硬件应用生态。

欲了解更多详情，请查看我们的总体架构。

自动微分

当前主流深度学习框架中有两种自动微分技术：

  • 操作符重载法： 通过操作符重载对编程语言中的基本操作语义进行重定义，封装其微分规则。 在程序运行时记录算子过载正向执行时网络的运行轨迹，对动态生成的数据流图应用链式法则，实现自动微分。
  • 代码变换法： 该技术是从功能编程框架演进而来，以即时编译（Just-in-time Compilation，JIT）的形式对中间表达式（程序在编译过程中的表达式）进行自动差分转换，支持复杂的控制流场景、高阶函数和闭包。

PyTorch采用的是操作符重载法。相较于代码变换法，操作符重载法是在运行时生成微分计算图的， 无需考虑函数调用与控制流等情况， 开发更为简单。 但该方法不能在编译时刻做微分图的优化， 控制流也需要根据运行时的信息来展开， 很难实现性能的极限优化。

MindSpore则采用的是代码变换法。一方面，它支持自动控制流的自动微分，因此像PyTorch这样的模型构建非常方便。另一方面，MindSpore可以对神经网络进行静态编译优化，以获得更好的性能。

MindSpore自动微分的实现可以理解为程序本身的符号微分。MindSpore IR是一个函数中间表达式，它与基础代数中的复合函数具有直观的对应关系。复合函数的公式由任意可推导的基础函数组成。MindSpore IR中的每个原语操作都可以对应基础代数中的基本功能，从而可以建立更复杂的流控制。

自动并行

MindSpore自动并行的目的是构建数据并行、模型并行和混合并行相结合的训练方法。该方法能够自动选择开销最小的模型切分策略，实现自动分布并行训练。

目前MindSpore采用的是算子切分的细粒度并行策略，即图中的每个算子被切分为一个集群，完成并行操作。在此期间的切分策略可能非常复杂，但是作为一名Python开发者，您无需关注底层实现，只要顶层API计算是有效的即可。

安装

pip方式安装

MindSpore提供跨多个后端的构建选项：

硬件平台操作系统状态
Ascend 910Ubuntu-x86✔️
Ubuntu-aarch64✔️
EulerOS-aarch64✔️
CentOS-x86✔️
CentOS-aarch64✔️
GPU CUDA 10.1Ubuntu-x86✔️
CPUUbuntu-x86✔️
Ubuntu-aarch64✔️
Windows-x86✔️

使用pip命令安装，以CPU和Ubuntu-x86build版本为例：

  1. 请从MindSpore下载页面下载并安装whl包。

    pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.2.0-rc1/MindSpore/cpu/ubuntu_x86/mindspore-1.2.0rc1-cp37-cp37m-linux_x86_64.whl

  2. 执行以下命令，验证安装结果。

    import numpy as np
import mindspore.context as context
import mindspore.nn as nn
from mindspore import Tensor
from mindspore.ops import operations as P

context.set_context(mode=context.GRAPH_MODE, device_target="CPU")

class Mul(nn.Cell):
    def __init__(self):
        super(Mul, self).__init__()
        self.mul = P.Mul()

    def construct(self, x, y):
        return self.mul(x, y)

x = Tensor(np.array([1.0, 2.0, 3.0]).astype(np.float32))
y = Tensor(np.array([4.0, 5.0, 6.0]).astype(np.float32))

mul = Mul()
print(mul(x, y))
    [ 4. 10. 18.]

使用pip方式，在不同的环境安装MindSpore，可参考以下文档。

源码编译方式安装

使用源码编译方式，在不同的环境安装MindSpore，可参考以下文档。

Docker镜像

MindSpore的Docker镜像托管在Docker Hub上。 目前容器化构建选项支持情况如下：

硬件平台Docker镜像仓库标签说明
CPUmindspore/mindspore-cpux.y.z已经预安装MindSpore x.y.z CPU版本的生产环境。
devel提供开发环境从源头构建MindSpore（CPU后端）。安装详情请参考https://www.mindspore.cn/install 。
runtime提供运行时环境安装MindSpore二进制包（CPU后端）。
GPUmindspore/mindspore-gpux.y.z已经预安装MindSpore x.y.z GPU版本的生产环境。
devel提供开发环境从源头构建MindSpore（GPU CUDA10.1后端）。安装详情请参考https://www.mindspore.cn/install 。
runtime提供运行时环境安装MindSpore二进制包（GPU CUDA10.1后端）。

注意： 不建议从源头构建GPU devel Docker镜像后直接安装whl包。我们强烈建议您在GPU runtime Docker镜像中传输并安装whl包。

  • CPU

    对于CPU后端，可以直接使用以下命令获取并运行最新的稳定镜像：

    docker pull mindspore/mindspore-cpu:1.1.0
docker run -it mindspore/mindspore-cpu:1.1.0 /bin/bash

  • GPU

    对于GPU后端，请确保nvidia-container-toolkit已经提前安装，以下是Ubuntu用户安装指南：

    DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
sudo systemctl restart docker

    编辑文件 daemon.json:

    $ vim /etc/docker/daemon.json
{
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

    再次重启docker:

    sudo systemctl daemon-reload
sudo systemctl restart docker

    使用以下命令获取并运行最新的稳定镜像：

    docker pull mindspore/mindspore-gpu:1.1.0
docker run -it -v /dev/shm:/dev/shm --runtime=nvidia --privileged=true mindspore/mindspore-gpu:1.1.0 /bin/bash

    要测试Docker是否正常工作，请运行下面的Python代码并检查输出：

    import numpy as np
import mindspore.context as context
from mindspore import Tensor
from mindspore.ops import functional as F

context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")

x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
print(F.tensor_add(x, y))
    [[[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.]],

[[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.]],

[[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.],
[ 2.  2.  2.  2.]]]

如果您想了解更多关于MindSpore Docker镜像的构建过程，请查看docker repo了解详细信息。

快速入门

参考快速入门实现图片分类。

文档

有关安装指南、教程和API的更多详细信息，请参阅用户文档。

社区

治理

查看MindSpore如何进行开放治理。

交流

贡献

欢迎参与贡献。更多详情，请参阅我们的贡献者Wiki。

分支维护策略

MindSpore的版本分支有以下几种维护阶段：

状态持续时间说明
Planning1 - 3 months特性规划。
Development3 months特性开发。
Maintained6 - 12 months允许所有问题修复的合入，并发布版本。
Unmaintained0 - 3 months允许所有问题修复的合入，无专人维护，不再发布版本。
End Of Life (EOL)N/A不再接受修改合入该分支。

现有分支维护状态

分支名当前状态上线时间后续状态EOL 日期
r1.9Maintained2022-10-26Unmaintained
2023-10-26 estimated
r1.8Maintained2022-07-29Unmaintained
2023-07-29 estimated
r1.7Maintained2022-04-29Unmaintained
2023-04-29 estimated
r1.6Maintained2022-01-29Unmaintained
2023-01-29 estimated
r1.5End Of Life2021-10-152022-10-15
r1.4End Of Life2021-08-152022-08-15
r1.3End Of Life2021-07-152022-07-15
r1.2End Of Life2021-04-152022-04-29
r1.1End Of Life2020-12-312021-09-30
r1.0End Of Life2020-09-242021-07-30
r0.7End Of Life2020-08-312021-02-28
r0.6End Of Life2020-07-312020-12-30
r0.5End Of Life2020-06-302021-06-30
r0.3End Of Life2020-05-312020-09-30
r0.2End Of Life2020-04-302020-08-31
r0.1End Of Life2020-03-282020-06-30
大飞哥软件自习室
关注
MindSpore模型推理
吴建明wujianming_110117
01-25 509
MindSpore模型推理 如果想在应用中使用自定义的MindSpore Lite模型，需要告知推理器模型所在的位置。推理器加载模型的方式有以下三种： • 加载本地模型。 • 加载远程模型。 • 混合加载本地和远程模型。 加载模型 方式一：加载并初始化本地模型。 加载模型。 • Assets目录 a. MLCustomLocalModel localModel = new MLCustomLocalModel.Factory(“yourmodelname”) b. .setAssetPat
华为MindSpore：面向端边云全场景的全新深度学习训练/推理框架 | 百万人学AI评选
weixin_37986590的博客
06-28 1036
2020 无疑是特殊的一年，而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上，CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级，设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信，榜样的力量将成为促进AI行业不断发展的重要基石，而CSDN将与这些榜样一起，助力AI时代的”新基建“。 活动官网：https://bss.csdn.net/m/topic/ai_selection/in...
深入了解MindSpore训练推理框架设计
qq_31768873的博客
08-31 989
深入了解MindSpore训练测试流程构建
推荐收藏！九大最热门的开源大模型 Agent 框架来了
最新发布
2401_84206094的博客
07-13 1301
在人工智能领域，AI Agent 扮演着关键角色，能够模拟人类的智能行为。近年来，开源社区涌现出多个优秀的 AI Agent 框架，本文将介绍九种备受关注的开源AI Agent框架，包括AutoGPT、AutoGen、Langfuse、ChatDev、BabyAGI、CAMEL、SuperAGI、MetaGPT和ShortGPT。这些框架为开发者提供了丰富的资源和工具，为智能应用的开发和创新提供了强大支持。
MindSpore！这款刚刚开源的深度学习框架我爱了！
skytttttt9394的博客
07-28 1713
转载地址：https://bbs.huaweicloud.com/forum/thread-61773-1-1.html 作者：红色石头 MindSpore！这款刚刚开源的深度学习框架我爱了！ 犹记得今年的华为开发者大会 HDC 2020 上，一直受人瞩目的深度学习框架 MindSpore 终于开源了。 我之前一直关注 MindSpore，还是挺期待的。MindSpore 是一款支持端、边、云独立/协同的统一训练和推理框架。与 TensorFlow、PyTorch 等流行深度学习框架对.
MindSpore基础知识【深度学习、基础】
qq_22841387的博客
07-03 3141
同时，MindSpore提供了更多的功能和工具，以帮助你在深度学习领域中进行更加复杂和实际的任务。计算图是用来描述计算流程的概念，它由一系列的计算节点和数据流组成，表示了模型的计算过程。它描述了模型中的计算流程，包括数据的流动路径和相应的计算操作。在上面的示例中，我们首先导入了MindSpore的相关模块，并定义了一个简单的神经网络模型。这些概念共同构成了MindSpore框架的基础，并帮助你进行深度学习模型的开发和训练。在这个示例中，计算图描述了数据从输入到输出的流动路径和相应的计算操作。
华为开源自研AI框架MindSpore！自动微分、并行加持，一次训练，可多场景部署...
量子位
03-28 1061
乾明 发自 凹非寺量子位 报道 | 公众号 QbitAI华为的开源AI框架，来了！刚刚，华为宣布正式开源自研深度学习框架MindSpore，代码已经上...
MindSpore是一种新的开源深度学习训练/推理框架，可用于移动，边缘和云场景
08-12
MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生支持，以及软硬件协同优化。...
MindSpore深度学习框架
03-10
MindSpore深度学习框架是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore深度学习框架提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生...
【MindSpore深度学习框架】MindSpore中的Cell模块
CSDN 精品推荐
08-13 2300
文章目录一、概述二、ops构建网络三、nn构建网络四、nn模块和ops的关系五、网络的常用方法1.parameters_dict()2.get_parameters()3.name_cells()4.cells_and_names()5.cells() 欢迎回到MindSpore神经网络编程系列。在这篇文章中，我们将通过MindSpore来讲解下该框架中的Cell模块。废话不多说，我们开始吧。 一、概述 MindSpore的Cell类是构建所有网络的基类，也是网络的基本单元。当用户需要自定义网络时，需要继
开启MindSpore开源之旅
布衣之旅
01-27 686
2020年过去了，不平凡的一年！虽然辛苦工作完成目标，但是向前看依然有全新的领域等待自己去了解和深入，AI这个领域就是给自己定的下一个目标。 开启开源领域AI深度学习 开源的大趋势目前非常明显，从15年到目前这些年的基础平台的实践，对开源包括开源生态大概有了一些了解。基于个人兴趣爱好，开源可以让自己不受从事企业业务领域的约束，通过深度参与一个开源项目，了解和熟悉开源社区、开源项目的运作思路，通过参与和领域开源项目共同成长。 选择AI领域，AI作为一种现代化应用的技术，立足解决不确定性问题领
华为机器学习框架MindSpore
qq_60567426的博客
11-07 1727
最近接到任务是需要将MindSpore推广到学校进行使用，MindSpore是一款由华为开发的新的机器学习框架。其中Pytorch和TensorFlow均是由国外开发，MindSpore汲取了前两者视图处理的经验和不足，又开发新的框架，不知道使用效果如何，在之前，本博主是pytorch忠实爱好者，因为其简单的书写方式和调用方式上手比较好，希望这篇博客更新完，我能喜欢上华为开发的MindSpore，毕竟是国产的，咱们要科技文化自信。
MindSpore学习
chenguowen21的专栏
05-10 503
MindSpore是华为推出的一款对标Pytorch的深度学习框架，目前
MindSpore初级教程-9.推理
朝闻道
02-24 812
推理 本节是初级教程的最后一节，为了更好地适配不同推理设备，因此推理分为 1）昇腾AI处理器推理和 2）移动设备推理。 昇腾AI处理器推理 1 概述 昇腾（Ascend）AI处理器是面向边缘场景的高能效高集成度AI处理器。可以实现图像、视频等多种数据分析与推理计算，可广泛用于智能监控、机器人、无人机、视频服务器等场景。本节我们来学习如何在昇腾AI处理器上使用MindSpore执行推理。 2 推理代码介绍 首先创建目录放置推理代码工程，model目录用于存放上述导出的MindIR模型文件，test
pip更换源 windows10_MindSpore安装和训练体验（Windows10）
weixin_42472263的博客
12-29 253
MindSpore简介MindSpore可以做模型的自动切分这一点让人印象深刻。当然，还有很多特点，比如自动微分、支持动态图+静态图，等等。如果希望了解更多，请看MindSpore官网：MindSpore​www.mindspore.cn对于个人来讲，去年便对MindSpore有简单了解，做过一些其与TensorFlow、PyTorch的对比分析。因为此前尚未开源，只能基于公开的文档做调研而已。而...
开源项目介绍 ｜TNN-跨平台AI推理框架
腾讯开源
06-20 1487
2021腾讯犀牛鸟开源人才培养计划开源项目介绍滑至文末报名参与开源人才培养计划提交项目ProposalTNN项目介绍 标签：人工智能 技术栈：C++，Pytho...
mindspore详解
fishmai的专栏
09-17 1478
由于积累时间短，MindSpore当前在算子支持方面还是相对薄弱的，MindSpore内置的静态的算子库可能无法满足用户的需求，之前版本的MindSpore的自定义算子功能也存在着平台覆盖不到位，开发过程繁琐及第三方算子接入困难的问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大飞哥软件自习室

希望支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值