昇思25天学习打卡营第一天:通过MindSpore的API来快速实现一个简单的深度学习模型

1. 什么是昇思MindSpore?

昇思MindSpore是一个全场景深度学习框架,由华为公司开发并开源。它提供了易于使用、高效灵活和云边端协同的AI开发能力,支持全场景AI应用。

MindSpore通过动态图、静态图、原生算子融合、自动微分等特性,支持数据科学家和AI工程师高效地进行模型训练、评估和推理。

MindSpore具有以下主要特点:

  • 全场景支持:支持端、边、云独立的和协同的统一训练和推理。
  • 易开发:提供Python API及易用的前端设计,降低用户使用门槛。
  • 高性能:原生支持动态图、静态图,支持训练、评估一体化,无需数据搬迁。
  • 端边云协同:支持多种硬件后端,包括Ascend、GPU、CPU等,支持端边云协同的模型训练和推理。
  • 自动微分:提供自动微分能力,简化用户梯度计算开发。
  • 动态图与静态图统一:支持动态图与静态图的无缝切换,降低用户在不同开发阶段的学习成本。
  • 模型并行与数据并行:提供模型并行、数据并行、混合并行等多种并行模式,支持高效分布式训练。
  • 原生支持大模型训练:通过算子融合、计算图优化等技术,支持超大模型的训练。
  • 安全可信:提供数据保护、模型保护、安全执行环境等能力,满足用户的隐私保护和安全需求。

昇思MindSpore是一个全场景深度学习框架,旨在实现易开发、高效执行、全场景统一部署三大目标,其中,易开发表现为API友好、调试难度低;高效执行包括计算效率、数据预处理效率和分布式训练效率;全场景则指框架同时支持云、边缘以及端侧场景。

在这里插入图片描述


2. 介绍昇思MindSpore在华为昇腾AI全栈中的位置:

昇腾计算,是基于昇腾系列处理器构建的全栈AI计算基础设施及应用,包括昇腾Ascend系列芯片、Atlas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。

华为Atlas人工智能计算解决方案,是基于昇腾系列AI处理器,通过模块、板卡、小站、服务器、集群等丰富的产品形态,打造面向“端、边、云”的全场景AI基础设施方案,涵盖数据中心解决方案、智能边缘解决方案,覆盖深度学习领域推理和训练全流程。

昇腾AI全栈如下图所示:

在这里插入图片描述
下面简单介绍每个模块的作用:

  • 昇腾应用使能:华为各大产品线基于MindSpore提供的AI平台或服务能力
  • MindSpore:支持端、边、云独立的和协同的统一训练和推理框架
  • CANN:昇腾芯片使能、驱动层。
  • 计算资源:昇腾系列化IP、芯片和服务器

3. 实战系列 - 通过MindSpore的API来快速实现一个简单的深度学习模型:

首先初始化一个Jupyter云上开发环境,云上开发环境,无需配置环境,既可灵活调试运行代码,可以进行官方进行申请一下Ascend算力测试,也可以先用CPU尝试一下。

在这里插入图片描述
点击“New Launcher”即可新开一个选择工作台:
在这里插入图片描述
选择第一个Notebook:
在这里插入图片描述
对比实验手册,可以有一些详细的描述。

在这里插入图片描述

复制一行代码,贴在空白处,点击上面有一个播放按钮表示执行,可以根据教程一步一步来执行,操作1-8步:

在这里插入图片描述
说明:

MindSpore提供基于Pipeline的数据引擎,通过数据集(Dataset)和数据变换(Transforms)实现高效的数据预处理。使用Mnist数据集,自动下载完成后,使用mindspore.dataset提供的数据变换进行预处理。

通过python的download函数下载Mnist数据集,当然,可使用命令pip install download安装。如本文档以Notebook运行时,完成安装后需要重启kernel才能执行后续代码。

下载下来的MNIST数据集目录结构如下:

MNIST_Data
└── train
    ├── train-images-idx3-ubyte (60000个训练图片)
    ├── train-labels-idx1-ubyte (60000个训练标签)
└── test
    ├── t10k-images-idx3-ubyte (10000个测试图片)
    ├── t10k-labels-idx1-ubyte (10000个测试标签)
数据下载完成后,获得数据集对象。

第七步:MindSpore的dataset使用数据处理流水线(Data Processing Pipeline),需指定map、batch、shuffle等操作。这里我们使用map对图像数据及标签进行变换处理,然后将处理好的数据集打包为大小为64的batch。

操作9-10步:

在这里插入图片描述
说明:

第九步:网络构建,mindspore.nn类是构建所有网络的基类,也是网络的基本单元。当用户需要自定义网络时,可以继承nn.Cell类,并重写__init__方法和construct方法。__init__包含所有网络层的定义,construct中包含数据(Tensor)的变换过程。

在模型训练中,一个完整的训练过程(step)需要实现以下三步:

  • 正向计算:模型预测结果(logits),并与正确标签(label)求预测损失(loss)。
  • 反向传播:利用自动微分机制,自动求模型参数(parameters)对于loss的梯度(gradients)。
  • 参数优化:将梯度更新到参数上。

MindSpore使用函数式自动微分机制,因此针对上述步骤需要实现:

  • 定义正向计算函数。
  • 使用value_and_grad通过函数变换获得梯度计算函数。
  • 定义训练函数,使用set_train设置为训练模式,执行正向计算、反向传播和参数优化。

操作11-12步:

在这里插入图片描述
说明:

第十二步,训练过程需多次迭代数据集,一次完整的迭代称为一轮(epoch)。在每一轮,遍历训练集进行训练,结束后使用测试集进行预测。打印每一轮的loss值和预测准确率(Accuracy),可以看到loss在不断下降,Accuracy在不断提高。

操作13-16步:
在这里插入图片描述
说明:

第十三步,保存模型,模型训练完成后,需要将其参数进行保存。

第十四步,加载模型,加载保存的权重分为两步:

  • 重新实例化模型对象,构造模型。
  • 加载模型参数,并将其加载至模型上。

总结:

通过不到10分钟就可以通过Jupyter云上开发环境,云上开发环境,无需配置环境,既可灵活调试运行代码,可以不用初始化python环境,直接在云上进行操作,而且还有数据集提供,可以很快速的进行深度学习,欢迎大家一起来学习起来,MindSpore不仅是一个深度学习框架,更是一个开放、包容、创新的AI生态平台,吸引了大量开发者、研究者和企业参与,共同推动AI技术的发展和应用。

  • 8
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值