【MindSpore】安装和使用MindSpore 2.0.0版本简单实现数据变换Transforms功能

已于 2023-02-26 11:49:36 修改
阅读量1.5k 收藏 25
点赞数 29
分类专栏： python 文章标签： python 人工智能 数据挖掘
于 2023-02-25 18:23:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmy_520/article/details/129218678
版权

本篇文章主要是讲讲MindSpore的安装以及根据官方提供的例子实现数据变换功能。
昇思MindSpore是一款开源的AI框架，旨在实现易开发、高效执行、全场景覆盖三大目标。

目录

1、加入MindSpore社区

在这里插入图片描述

2、安装前准备

2.1、获取安装命令

点击跳转安装指南，
官方提供版本和环境配置信息，非常的方便，直接根据自己环境选择即可
在这里插入图片描述

pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindSpore/cpu/x86_64/mindspore-2.0.0a0-cp39-cp39-win_amd64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple
# 注意参考下方安装指南，添加运行所需的环境变量配置

2.2、安装pip

确保自己环境已经安装pip，若还没有安装，推荐如下两种方式安装

2.2.1、官方推荐

pip方式安装MindSpore CPU版本-Windows

2.2.2、博客文章

可参考下面我这篇文章写的【小5聊】Python基础学习之python版本对应pip版本查看

2.3、确认系统环境

2.3.1、操作系统

确认安装Windows 10是x86架构64位操作系统。
在这里插入图片描述

2.3.2、Python版本

确认安装Python（>=3.7.5）。可以从Python官网或者华为云选择合适的版本进行安装
在这里插入图片描述

3、安装MindSpore

3.1、完整性校验

set MS_VERSION=2.0.0a0

在这里插入图片描述

3.2、命令安装

复制自己选择的安装命令

pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/2.0.0a0/MindSpore/cpu/x86_64/mindspore-2.0.0a0-cp39-cp39-win_amd64.whl --trusted-host ms-release.obs.cn-north-4.myhuaweicloud.com -i https://pypi.tuna.tsinghua.edu.cn/simple

以下为安装过程
在这里插入图片描述
在这里插入图片描述

3.3、验证安装

python -c "import mindspore;mindspore.run_check()"

3.4、升级版本

当需要升级版本时，可执行如下命令

pip install --upgrade mindspore=={version}

温馨提示：升级到rc版本时，需要手动指定{version}为rc版本号，例如1.5.0rc1；如果升级到正式版本，=={version}字段可以缺省。

4、数据准备

mindspore.dataset提供了面向图像、文本、音频等不同数据类型的Transforms，同时也支持使用Lambda函数。

4.1、背景

通常情况下，直接加载的原始数据并不能直接送入神经网络进行训练，此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换（Transforms），配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入，实现对指定数据列的处理。

4.2、安装download模块

pip install download

在这里插入图片描述

4.3、下载数据

根据官方提供的例子代码，会将数据下载到根目录
在这里插入图片描述

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset


# Download data from open datasets

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \
      "notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)

train_dataset = MnistDataset('MNIST_Data/train')

在这里插入图片描述

5、数据变换 Transforms

5.1、Common Transforms

mindspore.dataset.transforms模块支持一系列通用Transforms

5.1.1、Compose

Compose接收一个数据增强操作序列，然后将其组合成单个数据增强操作。我们仍基于Mnist数据集呈现Transforms的应用效果。
1）根据上一步下载好的数据，可加载并输出，如下

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

train_dataset = MnistDataset('MNIST_Data/train')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

在这里插入图片描述
2）数据变换

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

# 先加载到数据
train_dataset = MnistDataset('MNIST_Data/train')

# 设置数据变换参数
composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)

# 输出数据变换后的内容
train_dataset = train_dataset.map(composed, 'image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)

在这里插入图片描述

5.2、Vision Transforms

mindspore.dataset.vision模块提供一系列针对图像数据的Transforms。在Mnist数据处理过程中，使用了Rescale、Normalize和HWC2CHW变换。

5.2.1、Rescale

Rescale变换用于调整图像像素值的大小，包括两个参数：
rescale：缩放因子。
shift：平移因子。
1）像素值进行缩放

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)
print(random_np)

在这里插入图片描述
2）数据处理

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)

rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)
print(rescaled_image)

在这里插入图片描述

5.2.2、Normalize

Normalize变换用于对输入图像的归一化

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)

rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)
print(normalized_image)

在这里插入图片描述

5.2.3、HWC2CWH

HWC2CWH变换用于转换图像格式。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)

rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)

hwc_image = np.expand_dims(normalized_image, -1)
hwc2cwh = vision.HWC2CHW()
chw_image = hwc2cwh(hwc_image)
print(hwc_image.shape, chw_image.shape)

在这里插入图片描述

5.3、Text Transforms

mindspore.dataset.text模块提供一系列针对文本数据的Transforms。与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作。这里简单介绍其使用方法。
首先我们定义三段文本，作为待处理的数据，并使用GeneratorDataset进行加载。

5.3.1、BasicTokenizer

分词（Tokenize）操作是文本数据的基础处理方法，MindSpore提供多种不同的Tokenizer。这里我们选择基础的BasicTokenizer举例。配合map，将三段文本进行分词，可以看到处理后的数据成功分词。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

texts = [
    'Welcome to Beijing',
    '北京欢迎您！',
    '我喜欢China!',
]

test_dataset = GeneratorDataset(texts, 'text')
fdfds=text.BasicTokenizer()
test_dataset = test_dataset.map(text.BasicTokenizer())

报错原因：BasicTokenizer接口不支持windows平台
在这里插入图片描述

5.3.2、Lookup

Lookup为词表映射变换，用来将Token转换为Index。在使用Lookup前，需要构造词表，一般可以加载已有的词表，或使用Vocab生成词表。这里我们选择使用Vocab.from_dataset方法从数据集中生成词表。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

texts = [
    'Welcome to Beijing',
    '北京欢迎您！',
    '我喜欢China!',
]

test_dataset = GeneratorDataset(texts, 'text')
vocab = text.Vocab.from_dataset(test_dataset)
print(vocab.vocab())

在这里插入图片描述

5.4、Lambda Transforms

Lambda函数是一种不需要名字、由一个单独表达式组成的匿名函数，表达式会在调用时被求值。Lambda Transforms可以加载任意定义的Lambda函数，提供足够的灵活度。在这里，我们首先使用一个简单的Lambda函数，对输入数据乘2

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# 2023-02-25

import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

test_dataset = GeneratorDataset([1, 2, 3], 'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x * 2)
print(list(test_dataset.create_tuple_iterator()))

在这里插入图片描述

总结：第一次体验MindSpore的AI框架，我感觉视野一下子就被打开了，体验非常的棒，给MindSpore点赞，官方提供的例子也非常清晰明了！感兴趣的小伙伴也可以体验一下！

全栈小5
关注
  • 29
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 19
    评论
专栏目录
详细的tensorflow2.0.0安装，及查看tensorflow版本
12-22
tensorflow是机器学习，深度学习中比较重要的框架。 接下来详细的介绍tensorflow2.0.0的安装，保证让你解决安装问题。指定的是python3.6版本，下一个博客会讲述python3.7版本的tensorflow安装 1.下载Anaconda3, 到官网下载即可 https://www.anaconda.com/，并安装 2.安装完成之后，在菜单列表中找到Anaconda Prompt， 3.打开Anaconda Prompt，首先创建tensorflow虚拟环境。 检查当前安装了哪些环境：conda info –envs 创建tensorflow虚拟环境 命令：conda
tensorflow2.0.0安装视频.txt
03-02
这是tensorflow的安装教程百度网盘链接（永久有效）。里面有anconda+cuda+cudnn的详细安装视频，深度学习的的基本环境搭建。
基于Anaconda的机器学习环境安装流程（Transformers+PyTorch+Gym+matplotlib）
最新发布
三玖天下第一
04-08 877
小白自用环境部署流程，可能会存在错误，会在之后的使用过程中修复与更新，欢迎各位大佬批评指正
华为开源自研AI框架昇思MindSpore应用案例：小型CNN模型SqueezeNet
Yeats_Liao的博客
03-11 1417
华为开源自研AI框架昇思MindSpore应用案例：小型CNN模型SqueezeNet
昇思MindSpore 2.0，框架全新升级，使能科研创新与产业应用
Kenji_Shinji的博客
06-27 948
传统SED（Sub-Entire Domain，子全域基函数）算法计算复杂度是O(𝟗𝑴+𝑵)，其中M表示SED中每个阵列单元的参数量，N表示阵列单元的个数，M几乎保持不变，N随阵列规模线性增长。基于昇思MindSpore开发的AI流体仿真工具包MindSpore Flow，提供基于物理驱动、数据驱动和数据机理融合驱动的AI流体仿真技术以及端到端可微分CFD求解器，提供流体领域案例14个，网络模型8个，充分挖掘神经网络拟合能力，旨在构建高效、高精度的AI流场模拟工具，加速模型开发，满足相关科研工程需求。
MindSpore应用案例——AI诗人
Kenji_Shinji的博客
09-02 768
BERT的输入是两“句”相连的话A和B，NSP任务是以50%的概率随机替换掉B，使得A与B不是相连的两“句”话，然后由[CLS]对应的输出向量判断输入的两“句”话是否是相连的。如果只有一个词向量，那么输入中不同位置上的同样的字就会映射为相同的向量，所以需要加入其对应的位置信息。深度学习模型无法直接处理汉字或者单词，需要将汉字/单词映射为词向量，在BERT-base模型中，每一个token会被映射为一个768维度的向量，每一个汉字/单词都有其对应的词向量，此词向量也是需要被更新的参数。
Pytorch01 Anaconda配置环境和安装pytorch、Dataset、Tensorboard、transforms
Wantfly9951的博客
03-12 1218
transforms就是把图片经过处理得到对应的结果，例如totensor、resize等。Dataset 告诉我们如何获取每一个数据和它的label并且告诉我们总共有多少的数据。Dataset 提供一种方式获取数据及其label。Dataloader 为后面的网络提供不同的数据形式。在这里找到对应CUDA版本的pytorch。可以进入jupyter进行分块运行代码。tensorboard 观察图片。安装tensorboard。tensor数据类型介绍。进入conda环境安装。
[Pytorch] Transforms
qq_31225201的博客
01-07 1442
在Pycharm输入transforms，快捷键Alt+Enter，可以导入包 from torchvision import transforms，在处理图像数据的时候通常需要对数据进行统一预处理，这时候可以使用这个工具。 导入之后，快捷键Ctrl+p可以查看相应参数。 transform=transforms.Compose(transforms.ToTensor(), transforms.Normalize((0.1307,),(0.3081,))) 比如可以.ToTensor()统一转为Tens
CV【1】：transforms
BUPTer
07-12 1527
图像变换往往是CV的第一步，合适的图像大小才能传入网络中进行训练以获得合适的结果 本文主要对TorchVision文档中包含的与transforms有关的方法进行分类以及解释，其包含的方法在裁剪板块给出，后续板块的方法的具体用法可参考裁剪板块...
全新conda环境安装transformers全流程记录
热门推荐
qq_43219379的博客
02-26 2万+
linux下全新conda环境安装transformers全流程记录
fuirt ninja_水果忍者html版本2.0.0_DEMO_
10-01
水果忍者demo HTML版 可用于H5游戏开发版本
jperf-2.0.0使用说明.docx
06-30
jperf-2.0.0使用说明
信捷XDPPRO编程软件程序案例（V2.0.0功能库）
01-23
单轴常用批量控制功能库V2.0.0，XDPPRO程序案例。 最终版（或许吧） 之前轴结构体数组需要用头文件，需要多少轴需要手动注释。现在直接写成C函数。需要多少轴直接填写轴数即可。
关于安装pytorch以及transforms的版本问题
qq_40131605的博客
03-30 1万+
win10-CUDA10.0: python3.6 + torch1.4 + torchvision0.5.0 + transforms成功安装 问题描述： &#8195首先，我刚开始使用的是，python3.5,安装了torch1.1、torchvision0.3.0,然后transforms死活装不上，一直报错。找了很久，终于在某一个角落看到可能是python版本问题,然后屁颠屁颠跑去...
安装transform3d
qq_45386324的博客
08-10 4086
1.conda安装 conda install -c owlas transforms3d 2.pip安装 pip install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
昇思MindSpore应用案例 | 三维重建之神经辐射场 (NeRF)
Kenji_Shinji的博客
02-09 1396
我们通过限制网络将体积密度sigma预测为仅位置的函数来鼓励表示是多视图一致的x，同时允许将RGB颜色c预测为位置和查看方向的函数。该论文的作者提出了一种使用场景的一些图像来学习3D场景的最小而优雅的方法。网络学习对体积场景进行建模，从而生成模型在训练时未显示的3D场景的新视图（图像）。考虑一个带有N像素的图像。现在您已经了解了相机矩阵的概念以及从3D场景到2D图像的映射，让我们来谈谈逆映射，即从2D图像到3D场景。本案例对NeRF的论文中提出的模型进行了详细的解释，向读者完整地展现了该算法的流程。
MindSpore应用案例：AI安全
Kenji_Shinji的博客
08-30 715
模型的脆弱性可以理解为：模型对于某些特制的样本或者稀少样本缺乏辨识能力，那么对抗训练就可以理解为：让模型在对抗样本上再训练，来认识、学习这些样本的特征，提高模型的辨识能力、抗干扰能力，模型的鲁棒性自然就增强了。根据神经网络的特点，引入神经元覆盖率[3]的概念，作为Fuzz的测试指导，引导Fuzz朝神经元覆盖率增加的方向生成样本，让输入能够激活更多的神经元，神经元值的分布范围更广，以充分测试DNN，探索不同类型的模型输出结果、模型错误行为。评估Fuzz测试效果，生成数据的质量，变异方法的强度。...
PyTorch（三）TensorBoard 与 Transforms
weixin_53312629的博客
10-24 455
本文主要介绍了 TensorBoard 的安装以及其中的 SummaryWriter 的使用，包括函数 add_scalar() 以及 add_image() 的使用方法，同时还介绍了 Transforms 的结构及用法，以及诸如 ToTensor、Normalize、 Resize、 Compose、 RandomCrop 等的常用的函数的用法。
astjson 的 2.0.0 版本实现反序列化
06-11
在 fastjson 2.0.0 中，实现反序列化需要以下步骤： 1. 创建一个ParserConfig对象，并配置好需要反序列化的类的反序列化规则： ```java ParserConfig config = new ParserConfig(); config.putDeserializer(User.class, new UserDeserializer()); ``` 可以使用putDeserializer方法为需要反序列化的类注册自定义的反序列化器，这里以User类为例。 2. 创建一个JSON字符串解析器，默认使用的是JSONReader： ```java JSONReader reader = new JSONReader(); ``` 3. 调用JSONReader的readObject方法，将JSON字符串反序列化成Java对象： ```java User user = reader.readObject(json, User.class, config); ``` JSONReader的readObject方法有三个参数，第一个参数是需要反序列化的JSON字符串，第二个参数是反序列化后生成的Java对象类型，第三个参数是ParserConfig对象，用于配置反序列化规则。 4. 自定义反序列化器。以UserDeserializer为例，代码如下： ```java public class UserDeserializer implements ObjectDeserializer { @Override public User deserialze(DefaultJSONParser parser, Type type, Object fieldName) { User user = new User(); JSONObject jsonObject = parser.parseObject(); user.setName(jsonObject.getString("name")); user.setAge(jsonObject.getInteger("age")); user.setGender(Gender.valueOf(jsonObject.getString("gender"))); return user; } @Override public int getFastMatchToken() { return JSONToken.LBRACE; } } ``` 在UserDeserializer中，我们实现了ObjectDeserializer接口，重写了deserialze方法，在该方法中，我们从DefaultJSONParser对象中解析出JSONObject对象，并将其转换成User对象。需要注意的是，我们需要根据JSON字符串中的字段名来获取相应的值。在本例中，JSON字符串中包含了name、age和gender三个字段。 另外，我们还需要重写getFastMatchToken方法，用于快速匹配JSONToken。在本例中，我们使用了JSONToken.LBRACE表示JSON字符串的左花括号，可以加快解析速度。 以上就是使用 fastjson 2.0.0 实现反序列化的步骤和示例代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

全栈小5

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值