【MindSpore易点通】常用性能调优方法经验总结

最新推荐文章于 2024-07-29 21:21:57 发布
最新推荐文章于 2024-07-29 21:21:57 发布
阅读量528 收藏
点赞数 1
分类专栏： 技术博客 文章标签： python 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/127650614
版权

本文给大家介绍几种常用的性能调优方法。

调整数据处理进程数

MindSpore Data中的某些算子接收num_parallel_workers参数，该参数设置了算子使用的线程数。根据物理内核的数量和目标系统的负载，增加管道中num_parallel_workers的值，可以提高性能。对于任何包含计算密集型Tensor运算（比如Decode）的Map算子而言，尤其如此。

使用默认数据处理进程数（为1）：

if do_train:
    cifar_ds = ds.Cifar10Dataset(dataset_dir=data_home, shuffle=True, usage='train')
else:
    cifar_ds = ds.Cifar10Dataset(dataset_dir=data_home, shuffle=False, usage='test')

cifar_ds = cifar_ds.map(operations=transform_label, input_columns="label")
cifar_ds = cifar_ds.map(operations=transform_data, input_columns="image")
cifar_ds = cifar_ds.batch(batch_size, drop_remainder=True)

调整数据处理进程数为2:

if do_train:
    cifar_ds = ds.Cifar10Dataset(dataset_dir=data_home, num_parallel_workers=2, shuffle=True, usage='train')
else:
    cifar_ds = ds.Cifar10Dataset(dataset_dir=data_home, num_parallel_workers=2, shuffle=False, usage='test')

cifar_ds = cifar_ds.map(operations=transform_label, num_parallel_workers=2, python_multiprocessing=True, input_columns="label")
cifar_ds = cifar_ds.map(operations=transform_data, num_parallel_workers=2, python_multiprocessing=True, python_multiprocessing=True, input_columns="image")
cifar_ds = cifar_ds.batch(batch_size, num_parallel_workers=2, drop_remainder=True)

运行后性能对比：使用默认数据处理进程数：2200 imgs/sec ；调整数据处理进程数为2：2300 imgs/sec

使用MindRecord格式加载数据

目前MindSpore Data支持的特定格式数据集为：MindRecord。使用MindRecord格式的加载数据性能更优。

MindRecord数据加载流程：

import mindspore.dataset as ds

CV_FILE_NAME = "./cifar10.mindrecord"
cifar_ds = ds.MindDataset(dataset_file=CV_FILE_NAME，columns_list=["data","label"], shuffle=True)

运行后性能对比： 自定义数据集加载cifar10：850 imgs/sec；MindRecord格式加载cifar10：2200 imgs/sec

加载数据集时shuffle

数据集加载时shuffle，算子可以在生成输出Tensor之前对数据进行内部shuffle。与在管道中使用显式shuffle算子相比，这种内部shuffle通常会带来更好的性能。

管道中使用显式shuffle：

import mindspore.dataset as ds

DATA_DIR = "./cifar-10-batches-bin/"
cifar_ds = ds.Cifar10Dataset(DATA_DIR, usage='train')
cifar_ds = cifar_ds.shuffle(buffer_size=10000)

加载数据集时shuffle：

import mindspore.dataset as ds

DATA_DIR = "./cifar-10-batches-bin/"
cifar_ds = ds.Cifar10Dataset(DATA_DIR, shuffle=True, usage='train')

运行后性能对比：本样例未见明显性能收益

混合精度

混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。

运行后性能对比：高阶API: 2200 imgs/sec ；高阶API混合精度: 3300 imgs/sec

                   低阶API: 2000 imgs/sec ；低阶API混合精度: 3200 imgs/sec

数据下沉

采用数据集的下沉模式，即训练计算下沉到硬件平台中执行，数据下沉可以优化训练性能。

将Model.train接口中dataset_sink_mode 值设为True，即可采用数据下沉模式。

数据未下沉：

model.train(..., dataset_sink_mode=False, ...)

数据下沉：

model.train(..., dataset_sink_mode=True, sink_size=steps_per_epoch_train)

注：低阶API不支持数据下沉，若想实现数据下沉请使用Model.train接口进行训练。

运行后性能对比：数据未下沉：2000 imgs/sec；数据下沉：2200 imgs/sec

避免c_transform和py_transform混用

c_transform是在C++内维护buffer管理，py_transform是在python内维护buffer管理。因为python和C++切换的性能成本，建议不要混用算子，否则会降低训练性能。

c_transform和py_transform混用：

if do_train:
    # Transformation on train data
transform_data = py_trans.Compose([
            CV.RandomCrop((32, 32), (4, 4, 4, 4)),
            py_vision.ToPIL(),
            py_vision.RandomHorizontalFlip(),
            CV.Rescale(rescale, shift),
            CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
            CV.HWC2CHW()
            ])

else:
    # Transformation on validation data
    transform_data = py_trans.Compose([
            CV.Rescale(rescale, shift),
            CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
            CV.HWC2CHW()
            ])          

cifar_ds = cifar_ds.map(operations=transform_data, input_columns="image")

c_transform和py_transform未混用：

if do_train:
        # Transformation on train data
        transform_data = C.Compose([
            CV.RandomCrop((32, 32), (4, 4, 4, 4)),
            CV.RandomHorizontalFlip(),
            CV.Rescale(rescale, shift),
            CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
            CV.HWC2CHW()])

    else:
        # Transformation on validation data
        transform_data = C.Compose([
            CV.Rescale(rescale, shift),
            CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
            CV.HWC2CHW()])

cifar_ds = cifar_ds.map(operations=transform_data, input_columns="image")

运行后性能对比：c_transform和py_transform混用：1100 imgs/sec；

              c_transform和py_transform未混用：2200 imgs/sec

多map合并单map

数据预处理时，Map算子可以接收Tensor算子列表，并将按顺序应用所有的这些算子。与为每个Tensor算子使用单独的Map算子相比，可以获得更好的性能。

多map数据预处理：

randomcrop_op = CV.RandomCrop((32, 32), (4, 4, 4, 4))
randomhorizontalflip_op = CV.RandomHorizontalFlip()
rescale_op = CV.Rescale(rescale, shift)
normalize_op = CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
hwc2chw_op = CV.HWC2CHW()

if do_train:
    cifar_ds = cifar_ds.map(operations=[randomcrop_op], input_columns="image")
    cifar_ds = cifar_ds.map(operations=[randomhorizontalflip_op], input_columns="image")

cifar_ds = cifar_ds.map(operations=[rescale_op], input_columns="image")
cifar_ds = cifar_ds.map(operations=[normalize_op], input_columns="image")
cifar_ds = cifar_ds.map(operations=[hwc2chw_op], input_columns="image")else:
cifar_ds = cifar_ds.map(operations=[rescale_op], input_columns="image")
cifar_ds = cifar_ds.map(operations=[normalize_op], input_columns="image")
cifar_ds = cifar_ds.map(operations=[hwc2chw_op], input_columns="image")

合并成单map数据预处理：

if do_train:
    # Transformation on train data
    transform_data = C.Compose([
    CV.RandomCrop((32, 32), (4, 4, 4, 4)),
    CV.RandomHorizontalFlip(),
    CV.Rescale(rescale, shift),
    CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
    CV.HWC2CHW()])
else:
    # Transformation on validation data
    transform_data = C.Compose([
    CV.Rescale(rescale, shift),
    CV.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010)),
    CV.HWC2CHW()])

cifar_ds = cifar_ds.map(operations=transform_data, input_columns="image")

运行后性能对比：本样例未见明显性能收益

融合算子

MindSpore Data提供某些融合算子，这些算子将两个或多个算子的功能聚合到一个算子中。 与它们各自组件的流水线相比，这种融合算子提供了更好的性能。一个很好的融合算子是RandomCropDecodeResizeOp，它执行解码，然后对任意给定的Tensor进行随机裁剪和大小调整。用户可以查看算子API文档查看是否有相应融合算子替代现有算子，以获得更好性能。

自动数据加速

MindSpore提供了一种自动数据调优的工具——Dataset AutoTune，用于在训练过程中根据环境资源的情况自动调整数据处理管道的并行度，最大化利用系统资源加速数据处理管道的处理速度。在整个训练的过程中，Dataset AutoTune模块会持续检测当前训练性能瓶颈处于数据侧还是网络侧。如果检测到瓶颈在数据侧，则将进一步对数据处理管道中的各个算子（如GeneratorDataset、map、batch此类数据算子）进行参数调整。

昇思MindSpore
关注
专栏目录
【MindSpore易点通】MindSpore实践图神经网络01开篇
BaldheadedM的博客
08-11 565
但是，现实世界中存在许多复杂系统，这些系统常常表现为复杂网络的形式，如社交网络，交通网络，蛋白质交互网络，由于这些复杂网络的不规则性，传统的神经网络很难直接应用于图数据。图神经网络的出现使得深度学习能够在图结构数据上进行表征学习，这一突破促进了图表示学习的快速发展，并在社交网络分析，交通预测，推荐系统等领域得到广泛应用。本系列实践内容主要包含MindSpore的基础使用方法和GNN的实践两部分，第一部分主要介绍MindSpore的基本使用，第二部分主要是基于MindSpore实现一些基础的图神经网络模型。.
【MindSpore易点通】模型训练中的梯度下降
xi_xiyu的博客
09-09 884
在机器学习和深度学习中，需要对训练中的模型构建损失函数，这样才能在训练过程中找到最优的参数。梯度下降法是较常使用的优化算法，在求解过程中，需要求解损失函数的一阶导数。从loss的某一点出发；找到当前最陡的坡（找梯度最大的方向）；朝最陡方向走一步（一次迭代后，一步的大小为步长）；循环执行2和3，走到最低点。
昇思MindSpore学习入门-自动混合精度
最新发布
buw369521的博客
07-29 304
当用户需要在单个运算，或多个模块组合配置运算精度时，Cell粒度往往无法满足，此时可以直接通过对输入数据的类型进行cast来达到自定义粒度控制的目的。
MindSpore怎样使用混合精度
weixin_45666880的博客
07-03 562
混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batchsize。 对于FP16的算子，若给定的数据类型是FP32，MindSpore框架的后端会进行降精度处理。用户可以开启INFO日志，并通过搜索关键字“reduce precision”查看降精度处理的算子。 计算流程 1. 参数以FP32存储； 2. 正向计算过程中，.
【MindSpore易点通】混合精度训练使用总结
Kenji_Shinji的博客
11-02 747
混合精度训练方法是通过混合使用单精度和半精度数据格式来加速深度神经网络训练的过程，同时保持了单精度训练所能达到的网络精度。混合精度训练能够加速计算过程，同时减少内存使用和存取，并使得在特定的硬件上可以训练更大的模型或batch size。MindSpore低阶API使用混合精度，只需在MindSpore低阶API代码构造模型步骤中，将网络设置成混合精度进行训练。修改高阶API代码中的Model接口，将amp_level设置成"O3"，网络将采用混合精度进行训练。3、将Loss层设置为FP32进行计算；
MindSpore:【模型训练】gpu在训练结束后运行model.时，若打开了混合精度就会报数据类型不兼容
weixin_45666880的博客
07-28 435
一般有两种方式去得到精度结果1使用独立的eval过程，重新定义eval的net并对保存的ckpt进行推理。2边训练边推理，这种方式需要使用回调函数进行验证。这两种方式都可以参考master上，model_zoo/offical/cv/resnet/中的用法。GPU推理中的BatchNorm算子不支持纯fp16输入，推理应该不需要开启混合精度。所以你推理时的model不要共用训练时候的。在GPU上如果amp_level=O0，则正常返回准确率；（可选，上传日志内容或者附件）...
全网最全的混合精度训练原理
Kenji_Shinji的博客
06-25 663
通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中，同时使用单精度（FP32）和半精度（FP16）。一个规格化的FP64的真值为：FP16可以表示的最大值为 0 11110 1111111111，计算方法为：FP16可以表示的最小值为 0 00001 0000000000，计算方法为：因此FP16的最大取值范围是[-6550
【MindSpore易点通】Transformer的编码和解码
xi_xiyu的博客
09-09 2069
Decoder结构图中蓝框部分为Transformer的Decoder block结构，包含两个Multi-Head Attention层。第一个Multi-Head Attention层采用了Masked操作。第二个Multi-Head Attention层的K, V矩阵使用 Encoder 的编码信息矩阵C进行计算，而Q使用上一个 Decoder block 的输出计算。最后有一个 Softmax 层计算下一个翻译单词的概率。
【MindSpore易点通】Transformer的注意力机制
xi_xiyu的博客
09-09 1988
通过本文自注意力机制self-attention的过程解析，首先通过输入词的query和key相乘计算出一个关系权重，再用这个关系权重对value进行加权求和，以提升一个序列中相关向量的权重，降低不相关元素的权重。在计算完自注意力分数后，我们看到后面还有一个softmax计算，考虑到softmax的图形，在值越大的地方梯度会越小，所以如果上一步计算出的分数值越大，那样就会出现梯度小时的情况，此时就需要进行分数值的调整。常用的计算方法是用分数值除以dk的开方，这里的dk表示向量k的维度。
平安易点通
02-18
平安e点通行情交易软件，用于股票交易，行情监视等，是最好的交易软件。
【MindSpore易点通】调优精度之低阶API使用动态LossScale
Kenji_Shinji的博客
10-31 437
而loss scale正是为了解决float16类型数据下溢问题的，loss scale的主要思想是在计算loss时，将loss扩大一定的倍数，由于链式法则的存在，梯度也会相应扩大，然后在优化器更新权重时再缩小相应的倍数，从而避免了数据下溢的情况又不影响计算结果。scale_window:如果连续scale_window个step没有发生溢出，则执行loss_scale_value=loss_scale_value*scale_factor，int数据类型；network:训练网络；
【MindSpore易点通】如何保存模型进行checkpoint对比以及Print算子使用说明
Kenji_Shinji的博客
10-28 1191
MindSpore代码和Pytorch代码，存在MindSpore验证集精度比Pytorch低的问题，下面描述如何对比验证精度最大epoch的模型输出来定位问题。对比模型的各项输出结果，若发现有某项输出不一致，则需要分析对应的算子，可在MindSpore API中搜索相应算子，并分析。为保证Pytorch和MindSpore网络输入图片相同，代码做如下修改，Pytorch中代码也做对应修改。将其他框架的源码迁移至MindSpore后若出现精度问题，可以对比验证精度最大epoch的模型输出。
使用resnet进行cifar的分类
yychentracy的博客
05-19 1678
图像着增强的方法主要有： Torchvision.transforms： 1，scale：对图像的尺度进行缩小和放大 2，centercrop：对图像的正中心给定大小的进行裁剪 3，randomcrop：对图片进行给定大小的随机裁剪 4，randomhorizaontaflip：对图片进行概率为0.5的随机水平翻转 5，randomsizecrop：首先对图片进行随机水平的裁剪，然后对...
【深度学习】基于MindSpore和pytorch的Softmax回归及前馈神经网络
m0_53700832的博客
04-21 1332
由于在自定义数据集类中定义了随机访问函数和获取数据集大小函数，因此当需要随机访问数据集中某条数据或获取数据集大小时，使用自定义数据集类生成的数据集可以快速完成这些操作，而通过自定义数据集生成函数的方式生成的数据集需要对数据逐条遍历方可完成这些操作。此外若仔细观察各模型的混淆矩阵可以发现，将正确标签为9的误判为4、将正确标签为5的误判为3、正确标签为2的误判为8这几种误分类情况较为普遍，这是这些数字的手写体较为相近，容易混淆的缘故。可在MNIST数据集的官网下载数据集，解压到当前代码目录下。
CIFAR10测试集推理
YZBFOREVERNB的博客
10-16 206
使用现有模型对CIFAR10测试集进行推理
卷积神经网络三：AlexNet
weixin_42255757的博客
03-06 973
本文介绍了AlexNet网络模型的结构，并进行了代码实现，在cifar-10数据集上进行了训练，最后简单介绍了一下模型的预训练和微调。
图像处理：随机擦除某区域
weixin_40132776的博客
08-30 1418
import cv2 import math import random def randomErasing(imgDir, sl=0.02, sh=0.4, r1=0.3, mean=(0.4914, 0.4822, 0.4465)): img = cv2.imread(imgDir) area = img.shape[0] * img.shape[1] target_area = random.uniform(sl, sh) * area aspect_ratio.
transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))什么意思？
weixin_42601608的博客
01-14 431
这是 PyTorch 中的一个数据预处理步骤，称为归一化。它的意思是将图像的每个通道的像素值减去该通道的平均值，再除以该通道的标准差。具体来说，(0.4914, 0.4822, 0.4465) 是三个通道的平均值，(0.2023, 0.1994, 0.2010) 是三个通道的标准差。 ...
mindspore中transformer模型
08-26
MindSpore提供了相关的API和方法来构建和训练Transformer模型。 首先，在MindSpore中，可以使用`EmbeddingLookup`类来定义词嵌入层，该层负责将输入的单词转换为向量表示。这个类在`transformer_model.py`文件中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值