体验昇思MindSpore的“数据处理性能优化”

本文详述了如何优化MindSpore的数据处理性能,包括shuffle性能、操作系统优化、自动数据加速和数据准备异构加速。通过实验,GenerDataset在数据加载上表现最优,而Dataset AutoTune工具则能智能调整数据处理管道。此外,还探讨了启用数据准备异构加速的方法和相关约束条件。
摘要由CSDN通过智能技术生成

  作为一名合格的粉(bai)丝(piao)人员,居然这次才知道这个活动,当然不能错过这次机会。开始整活。

按照活动中的要求,第一步要完成加入社区,没问题。终于找到组织了

然后是第二步,体验“数据处理性能优化”,开始吧。按照教程的目录一步一步的走。

下载数据集:巧妇难为无米之炊嘛,先把数据材料整到位

作为白嫖怪,当然会使用华为云的资源呀

 

第一个小问题在运行正常代码的时候会报错没有mindvision,所以第一步是先安装上。 

安装:pip install mindvision

设置:conda install mindspore-gpu=1.9.0 cudatoolkit=10.1 -c mindspore -c conda-forge

然后再继续使用教程中的代码,这样就没有报错了,很成功的下载并保存了数据集文件

数据加载性能优化环节,分别提供了使用内置算子Cifar10Dataset、使用Cifar10ToMR以及GenerD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值