- 博客(219)
- 收藏
- 关注
原创 mindspore.profiler如何获取aicore_time、mte1_time等数据
使用mindspore.profiler生成profile_data文件夹后,aicore_time、mte1_time、mte2_time等数据在哪些文件中?"aic_metrics": "ArithmeticUtilization", 改成:PipeUtilization。修改 /mindspore/python/mindspore/profiler/profiling.py 文件。生成数据后,然后再用msprof解析,就可以看到了。
2023-06-20 16:33:35 345 1
原创 【pad填充模式缺失】python API nn.Pad 缺失循环填充模式
mindspore.nn.Pad 函数中没有circular循环填充模式和replicate复制模式,是否有支持的计划呢,如果没有那有没有其他的替代方案可以实现。在之后的版本中会支持 mindspore.nn.Pad 函数 circular循环填充模式和replicate复制模式。
2023-06-20 16:31:50 295
原创 mindspore.nn.SoftmaxCrossEntropyWithLogits如何支持四维tensor输入
1、使用mindspore.nn.SoftmaxCrossEntropyWithLogits()对pytorch的torch.CrossEntropyLoss()进行迁移,pytorch支持输入4维度tensor,但mindspore的该算子不支持4维度的tensor,请问该如何解决。目前 mindspore.ops.SoftmaxCrossEntropyWithLogits 只支持二维输入。如果输入tensor是四维的话,可以使用其他的Loss function。【操作步骤&问题现象】
2023-06-20 16:30:33 311
原创 关于算子mindspore.nn.Conv2dTranspose没有output_padding
其中pytorch算子中有一个output_padding参数表示对输出的特征图的某一边进行padding,然而mindspore算子中没有,那么如何实现对特征图的某一边进行padding呢,有替代的方案吗。pytorch中的反置卷积。对应mindspore是。
2023-06-20 16:28:16 244
原创 mindvision.dataset.Cifar10 下载的数据集文件后缀没有.bin
1、按照官方示例指导的方式下载数据集,文件后面是没有.bin的后缀的,但是在调用mindspore.dataset.Cifar10Dataset()的时候又要求数据集是bin文件。带.bin格式的适用于mindspore的Cifar10Dataset接口。教程这边的不带.bin格式的适用于mindvision仓库的Cifa10接口。你的代码里面用的可能是mindspore下面的Cifar10Dataset,两者对应的数据集解析格式不同。教程里面使用的是mindvision仓库的Cifa10接口。
2023-06-20 16:15:42 139
原创 Windows系统MindSpore CPU运行gitee提供的SSD模型创建MindRecord问题
Windows系统MindSpore 1.6.2 CPU 环境下,运行gitee提供的SSD模型,下载COCO数据集后,修改了official/cv/ssd/config/ssd300_config_gpu.yaml文件,单独运行official/cv/ssd/src/dataset.py文件创建MindRecord文件报错。本人修改的yaml文件及完整代码在附件,yaml为 official/cv/ssd/config/ssd300_config_gpu.yaml。coco文件夹及位置如图。
2023-06-20 16:12:02 81
原创 数据集用ImageFolderDataset读入之后,如何划分
数据集用ImageFolderDataset读入之后,如何划分训练集和测试集。好放在不同的目录,然后创建两个dataset,路径分别指向训练集和验证集。不是读入后如何划分,而是先把。
2023-06-20 15:29:07 184
原创 对Tensor张量的保存相应的方法
对Tensor张量的保存没有找到相应的方法,于是使用pickle来保存,但是在使用load读取后,无法使用print打印,报错及debug显示的vocab信息如下,请求指点该如何保存张量?可以把tensor里的值转成ndarray类型,然后使用numpy的save方法保存。
2023-06-20 15:21:09 394
原创 使用mindspore发布模型
注意,{model_name}_{model_version}_{dataset}.md文件中需要补充如下所示的file-format、asset-link 和 asset-sha256信息,它们分别表示模型文件格式、模型存储位置(步骤1所得)和模型哈希值。使用hub/mshub_res/tools/md_validator.py在本地核对.md文件的格式,执行以下命令,输出结果为All Passed,表示.md文件的格式和内容均符合要求。将你的预训练模型托管在可以访问的存储位置。
2023-06-20 15:18:09 97
原创 mindspore从Hub加载模型用于推理验证
2.例如,想使用GoogleNet对CIFAR-10数据集进行分类,可以在MindSpore Hub官网上使用关键词进行搜索。页面将会返回与GoogleNet相关的所有模型。进入相关模型页面之后,获得详情页。mindspore_hub.load API用于加载预训练模型,可以实现一行代码完成模型的加载。1. 在MindSpore Hub官网上搜索感兴趣的模型。3.完成模型加载后,可以使用MindSpore进行推理。
2023-06-20 15:17:28 141
原创 使用mindsporehub 加载模型报错
***************************************************解答*****************************************************1. 将ckpt里面这行报错的注释掉,再训练个5轮的样子,看性能是否可以,后面就可以继续使用。2. 看是不是batch_size导致,可进行排查看看。
2023-02-25 10:48:59 337
原创 mindspore_rl安装出错
***************************************************解答*****************************************************建议使用pip install mindspore-rl==0.5.0安装软件包。mindspore1.9.x没有发布对应的Reinforcement套件包。pip安装mindspore_rl出错,更换源仍出错。
2023-02-25 10:47:26 140
原创 YOLOv3 数据集问题
***************************************************解答*****************************************************yolov3_resnet18是为内部定制的一个网络,数据集没有开源,YOLOv3的话可以使用darknet53。到这一步的时候,发现没有给数据集(COCO2017)转换的文件。求一个数据集处理代码,或者能用的txt文件.那个公版的实现,数据处理过程是全的。
2023-02-25 10:46:05 149
原创 如何查看昇腾服务器上正在跑的Mindspore的训练任务?
***************************************************解答*****************************************************如何查看昇腾服务器上正在跑的Mindspore的训练任务?有的训练任务在命令行一打bash run_standalone_train.sh [DATA_PATH]就看不到了。您好,ps a查询所有进程,是否能看到,如果训练任务很小,看下输出目录是否有输出结果。
2023-02-25 10:43:41 160
原创 ONNX模型如何转换到MindIR格式
***************************************************解答*****************************************************目前应该是不能直接把ONNX转换为MINDIR的。求问ONNX模型如何转换到MindIR格式?
2023-02-25 10:43:40 269
原创 yolox找不到文件hccl_tools.py
***************************************************解答*****************************************************在公共目录下,utils/hccl_tools/hccl_tools.py。可是找不到hccl_tools.py文件。中快速入门尝试demo。
2023-02-25 10:42:16 153
原创 求助如何使用已有的api实现上采样
如果用pytorch实现,则可以使用对应的UpSample,而mindspore中仅有一个ResizeBilinear,这个api不能接收扩大倍数的参数,只能在construct中传入,不能在定义的时候确定,使用起来不太方便。****************************************************解答*****************************************************求助如何在init内实现上采样层的定义。
2023-02-25 10:41:09 86
原创 CNN+DNN训练,过了100个epoch后报错了,怎么回事?
***************************************************解答*****************************************************2. 打开动态图进行定位,看看你的数据和网络结构是不是有问题。
2023-02-25 10:38:27 370
原创 使用ResNet报错提示GetEvaluatedValueForNameSpaceString
***************************************************解答*****************************************************可以参考官网仓库中提供的resnet18用例运行,该用例基于MindSpore1.9版本完成,您试试呢。该文章的代码能正常运行(训练和预测),文章里用是它自行定义的ResNet;测试代码是参考这篇文章的。后就会产生上述错误。
2023-02-25 10:36:26 265
原创 在Mindspore中遇到的问题,ValueError: For ‘MatMul‘, the input dimensions must be equal, but got ‘x1_col‘:
***************************************************解答*****************************************************输入到回归模型的每个样本数据都是426*640的图片经过flatten后产生的数组,该数组的shape为(817920,),X_train就是若干这样的数组组成的。本小白正学习如何使用Mindspore,打算用逻辑回归对图片进行分类。
2023-02-25 10:33:17 566
原创 体验昇思MindSpore的“数据处理性能优化”
作为一名合格的粉(bai)丝(piao)人员,居然这次才知道这个活动,当然不能错过这次机会。开始整活。按照活动中的要求,第一步要完成加入社区,没问题。终于找到组织了然后是第二步,体验“数据处理性能优化”,开始吧。按照教程的目录一步一步的走。下载数据集:巧妇难为无米之炊嘛,先把数据材料整到位作为白嫖怪,当然会使用华为云的资源呀第一个小问题在运行正常代码的时候会报错没有mindvision,所以第一步是先安装上。安装:pip install mindvision。
2022-12-28 10:53:32 200
原创 MindSpore报错what(): scoped_acquire::dec_ref(): thread state must be current!
***************************************************解答*****************************************************在mindspore框架下进行网络训练,运行这个画框的循环时,会弹出以下报错,而且此报错出现在第几次循环不固定,不知道如何解决,求助!看你的截图好像使用的是Python39?请确认一下自己使用Python版本,推荐使用Python37,其他版本有可能出现未知的问题。
2022-11-11 09:57:53 254
原创 DateSet 使用 app_sampler 方法 添加自定义Sampler 打印结果不符合预期
经定位,自定义Sampler使用`add_sampler`方法时存在bug,返回结果将全部变为父采样器首个索引对应的值,我们将尽快修复此问题,预计在下个版本中体现。在work函数中,我先创建了dataset 再创建Sampler 并使用add_sampler方法为dataset添加Sampler。work函数 和work2函数中,使用了与官方教程(自定义采样器部分)相同的数据集与Sampler,并打印dataset的内容。在work2函数中,我在创建dataset的同时指定了Sampler。
2022-11-10 09:58:43 392
原创 Ascend运行mindspore模型,int64警告
***************************************************解答*****************************************************这是告警不是报错,是想从int64类型转到int32类型,但是这个算子不支持int64,所以直接忽略。我在查看了代码之后发现好像只有在数据集加载过程中使用了python默认的int类型做了一下强转。在加载数据集的时候会有大片的这个报错,请问该如何解决呢?
2022-11-10 09:56:50 825
原创 MindSpore在Ascend上的精度问题
可能是在Asecend上算子出现溢出问题,如果找到溢出的算子,需要将其设置为fp32运行。具体可以参考精度调试指南,https://www.mindspore.cn/mindinsight/docs/zh-CN/master/accuracy_problem_preliminary_location.html。请问相同的mindspore代码在gpu上精度能达到0.59,在ascend上精度只有0.02,可能的原因是什么呢?mindspore版本1.7.1。ascend 910单卡。
2022-11-10 09:55:05 179
原创 Linux-aarch64安装好MindSpore后,提示Illegal instruction
***************************************************解答*****************************************************我们mindspore whl包,暂时不支持在骁龙芯片上运行,只能选择其他硬件了。前面安装一切顺利,但是验证是否安装成功是提示如下错误。
2022-11-10 09:53:48 254
原创 win11下mindspore安装失败
***************************************************解答*****************************************************请问您的Pip是什么版本呢,建议更新下再试一试。后在官网选择重新选择安装设置如下。参照在技术手册命令报错。
2022-11-10 09:52:04 243
原创 模型进行MindIR格式文件导出时报错,请问如何定位错误,以及如何解决?
***************************************************解答*****************************************************改成ms.export(outmodel,*(input1,input2), file_name='MFL', file_format='MINDIR')试试。版本:mindspore 1.8.1。
2022-11-10 09:50:31 1070
原创 MindSpore中Batchnorm2d的参数momentum设置求助
mindspore新人,在设置batchnorm2d中的momentum参数时,发现自己无法修改此参数,一直保持0.1的值(0.1并不是文档中说明的值,0.9才是)。不知道是自己看到的momentum是不是文档表述的momentum。求助原因是想尝试修改此参数。本人使用的是cpu与mindspore1.8版本。是可以修改的,但是print出来的信息是1-momentum,内部做了转化。你可以改成0.2,打印出来应该是0.8。
2022-11-10 09:48:31 443
原创 鲲鹏+昇腾+MindSpore+Python开发Web Service用什么框架比较好啊?
如果你用的是Atlas 200这种边缘设备,由于其内存较小,CPU性能差,一般来说,Web应用可以放在其他服务器上,通过该服务器跟Atlas设备的交互完成推理结果的展示。如果你使用的是Atlas 500Pro这种服务器,有足够的内存和硬盘环境,那么你的Web应用自然可以放在Atlas服务器上。有鲲鹏+昇腾+MindSpore+Python开源的Web Service项目吗?无论哪种,都是restful格式的情况下,你用什么框架都是可以的。要看你的应用部署在哪里。
2022-11-10 09:47:07 253
原创 MindSpore中Tensor修改指定值的效率太低
***************************************************解答*****************************************************请检查一下mindspore的版本以及是在什么设备上有这个问题;以及检查一下pytorch和mindspore对于这个算子的profiling数据。这时, 在执行过程中耗时会非常长, 而同样逻辑的代码在PyTorch和Numpy中, 在极短时间内就可以完成.
2022-11-10 09:45:34 331
原创 mindspore计算梯度时显示设备内存不足
***************************************************解答*****************************************************两个网络模型,第一个网络模型固定参数仅用于输出,第二模型用于训练,其中有两个输出(有对应的真实标签),已附代码;报错算子的shape。
2022-11-10 09:34:13 366 1
原创 LossMonitor 使用咨询
mindvision的lossmonitor 显示AdamWeightDecay的lr应该有问题,可以使用mindspore原生的lossmonitor,ms原生的lossmonitor不可以查看lr,因为有时候框架侧获取不到训练过程中的LR。请问一下关于LossMonitor的详细介绍手册在哪里看呢?在lr那一栏显示的一直是我传入的0.005,但是我试过不传入lr时候显示的好像是一个默认数值,我网络训练用的是AdamWeightDecay,没有观察到lr的动态变化,这是为啥呢。你好,请问是想查看lr吗?
2022-11-09 17:20:09 206
原创 mindspore-gpu模型运行,警告数据集为动态shape
***************************************************解答*****************************************************比如需要调用mindspore.dataset.GeneratorDataset.map接口,将以下的数据增强操作传入。#传入的第一个tensor是data,第二个tensor是labels,其中第一个元素64为批量大小。这里是固定shape,要给tensor赋值的,不然会报错。
2022-11-09 17:19:31 196
原创 训练到第23个epoch中止,无法正常运行
***************************************************解答*****************************************************看不出问题代码是哪部分,因为是dataset_iterator_kernel的问题,请问出错的地方是数据加载吗。单独迭代一下数据集看看耗时呢?用官网的例子修改的函数如下。看一下是否输出数据时间太长。
2022-11-09 17:18:27 1257
原创 静态图模式下报错【Should not get item from non-sequence type, obj: CellList】
***************************************************解答*****************************************************使用CellList,报错为其是非序列类型。可是文档中说,CellList可以像普通Python列表一样使用。镜像:mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3。方法二:CellList问题在1.8上被修复了,可以用mindspore1.8的包试试。
2022-11-09 17:17:34 196
原创 MindSpore中定义的张量支持矩阵乘法求逆等操作吗
***************************************************解答*****************************************************MindSpore中定义的张量支持矩阵乘法求逆等操作吗。可以使用 ops.MatrixInverse。
2022-11-09 17:16:32 216
原创 MindSpore lite支持在RISCV架构的芯片上进行推理吗?
首先要将所有的源代码包括依赖的库代码,交叉编译到riscv(设置交叉编译器),应该要修改mindspore/lite/CMakeLists.txt,build_lite.sh等文件,另外有些x86,arm的汇编算子代码无法被编译,可能要根据情况关闭cmake里控制这些代码的编译option。****************************************************解答*****************************************************
2022-11-09 17:16:07 138
原创 mindspore ascend安装跑错
***************************************************解答*****************************************************MindSpore需要和CANN的版本配套,现在机器上的CANN只能配套MindSpore1.7.1。请问应该怎么解决,是只能安装1.7.1的 版本吗。环境Ascend910 aarch64。尝试安装mindspore1.8.1。在进行模型训练时报如下错误。
2022-11-09 17:15:16 713 1
原创 ResizeBilinear与torch.nn.Upsample输出差异情况下,如何实现对torch.nn.Upsample的ms算子转化
可以暂时把报错(raise ValueError(f"Currently `half_pixel_centers`=True only support in Ascend device_target, ")对应的校验device_target代码删掉就可以了,在nn_ops.py文件里的 ResizeBilinear类的__init__方法里。你可以设置ResizeBilinear的参数,nn.ResizeBilinear(half_pixel_centers=True),结果应该就一致了。
2022-11-09 17:14:13 637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人