MindSpore-GeneratorDataset报错误Unexpected error. Invalid data type

最新推荐文章于 2023-04-23 15:23:34 发布
最新推荐文章于 2023-04-23 15:23:34 发布
阅读量219 收藏
点赞数
分类专栏： 技术博客 文章标签： 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/126929053
版权

MindSpore可以自定义Python数据源，通过迭代该数据源构造数据集。有点类似PyTorch的DataLoader。

相关的API可以参考：mindspore.dataset.GeneratorDataset

在ModelArt + GPU + MindSpore 1.2.0 环境下，使用GeneratorDataset接口加载自定义语音数据集，

报出如下错误：

Unexpected error. Invalid data type.

Line of code : 109

File: /home/jenkins/agent-working-dir/workspace/Compile_GPU_x86_Ubuntu_Cuda10/mindspore/mindpore/ccsrc/mindata/dataset/core/tensor.cc

原因分析：

  • 问题出现的原因可能为，自定义的Datast 或map 操作中返回的是一个dict类型数据等，不是numpy array 或 numpy array 组成的元组（tuple）。因为其他类型（dict、object等）不是一个可控的数据类型同时也不明确其中的数据存储方式，因此报出Invalid type的错误。

解决办法：

  • 需要确认下自定义的数据处理部分是否返回了dict等，需要返回numpy array
  • 或者检查一下自定义加载数据时，__getitem__ 函数需要返回值是 tuple，并且tuple的元素是 numpy类型。

这里给出一个例子，标注了几个重要的地方进行numpy 的转换，请确认相关位置的数据类型是否为numpy或tuple[numpy]

其他错误相关帖：

昇思MindSpore
关注
专栏目录
Python&aconda系列：conda踩坑记录1.An unexpected error has occurred. Conda has prepared the above report
weixin_54626591的博客
12-19 5168
conda踩坑记录1.An unexpected error has occurred. Conda has prepared the above report
MindSpore数据集加载-GeneratorDataset功能及常见问题
skytttttt9394的博客
02-20 487
先看一个例子所谓生成器，就是指python generator。构造一个生成器传入到GeneratorDataset，MindSpore每次会从生成器中读取一条数据返回。请注意，此时shuffle是失效的，因为GeneratorDataset每次只能获取生成器的下一条数据，且不能知晓究竟有多少条数据，因此无法做到索引上的随机，上述例子无论运行多少遍输出顺序都是一样的。先看一个例子可迭代式的数据集，其实与上面的生成器式数据集的原理是一样的。
MindSpore数据集加载-GeneratorDataset卡住、卡死
weixin_45666880的博客
02-20 217
猜测在自定义的数据处理中，存在numpy.ndarray -> mindspore.Tensor -> numpy.ndarray的混用过程，并且错误地使用numpy.array(Tensor)做转换，导致GIL锁得不到释放，GeneratorDataset不能正常工作。
用华为MindSpore框架训练数据库类型的数据集
Dechin的博客
06-01 561
技术背景 在前面一篇博客我们讲到三种用python去读取一个文件的指定行的操作，最终给出的一个结论大概是，对于大型的数据而言，最快的找到指定行的方法是Linux系统自带的sed指令，那么是否只有这一种办法了呢？很显然不是，之所以采用这些方法，是因为我们被局限在数据的存储格式上，如果在处理数据或者产生数据的阶段，就把数据按照特定的数据结构进行存储，那么就能够大大的提高数据读取的效率。这里我们要介绍...
ORA-39126: Worker unexpected fatal error in KUPW$WORKER.FETCH_XML_OBJECTS [ORA-04063: view “SYS.KU$_
shilukun的博客
07-31 3539
今天expdp导出数据库,遇到了ORA-39126: Worker unexpected fatal error in KUPW$WORKER.FETCH_XML_OBJECTS [ORA-04063: view "SYS.KU$_RADM_FPTM_VIEW" has errors 报错,记录下处理过程 首先报错如下: rocessing object type DATABASE_EXPORT/EARLY_OPTIONS/VIEWS_AS_TABLES/TABLE_DATA Processing ob
MindSpore报错“RuntimeError: Unexpected error. Inconsistent batch..
skytttttt9394的博客
07-16 701
1.进行batch操作必须保持输入数据的shape一致。2.对原本shape不一致的数据一定要进行batch操作，需要考虑先将shape调整为一致，后续再对由于进行了shape调整导致的数值偏差进行处理。
MindSpore报错解决地图2022.10.21
10-27
8. GeneratorDataset在数据处理时出现“Invalid data type”错误。 9. 数据处理过程中遇到空指针错误：“The pointer[cnode] is null”。 10. 数据加载报错：“The data pipeline is not a tree”，这可能涉及到数据...
oracle 10102,linux - linux中的Oracle数据库安装程序[INS-10102]安装程序初始化失败 - SO中文参考 - www.soinside.com...
weixin_28707535的博客
04-04 1686
我试图在红帽企业Linux中安装oracle数据库，一旦我使用以下命令运行安装程序：[oracle @ linux数据库] $ ./runInstallerOUI显示消息：[INS-10102] Installer initialization failed.Cause-An unexpected error occurred while initializing the Installer....
mindspore数据加载与处理
weixin_45666880的博客
10-29 255
3. 在代码dataset = ds.GeneratorDataset(dataset_generator,['image'],num_parallel_workers=1)中指定了线程数为1，为什么还会出现多线程的情况呀？1、在getitem方法中使用了ops算子、tensor操作，导致代码出现aborted dump错误。2. 为什么getitem不能进行张量、ops算子操作。使用mindspore实现数据集的加载与处理功能。getitem中不能进行tensor操作。单线程不会存在该问题。
MindSpore：数据处理问题
weixin_45666880的博客
07-29 135
1、有images目录，有labels目录，两个都是图片集，如何将这images和labels组合在一起，构成一个dataloader。（可选，上传日志内容或者附件）
mindspore关于数据迭代器create_dict_iterator
xi_xiyu的博客
10-28 695
由于网络比较大，我在用迭代器测试的时候，发现迭代器在送入一个batch后，并没有停止迭代而是继续迭代。第一个batch经过网络的输出在多次迭代后才显示输出。对于mindspore的数据迭代器，在迭代了一个batch之后，是会停止迭代并在数据进入网络并输出后再进行迭代的吗？还是一边迭代一边输入数据给网络？建议将print函数的flus参数设置为True试下。数据迭代是串行的，输出一个数据，在输入给网络。
如何使用MindSpore实现自定义数据集并用于epoch训练
weixin_45666880的博客
04-23 301
***************************************************解答*****************************************************我正在做Pytorch到MindSpore的迁移，是在现有Pytorch代码的基础上进行迁移的，想知道如何把这个代码迁移到Mindspore上，并在epoch中训练。
大型计算机grads使用,win10中GRADS出现FAST_CWD pointer错误的详细解决方法
weixin_26643379的博客
07-24 3192
现在很多用户已经升级win10系统，但是还是系统陆续出现一些问题。由于工作需求，很多设计工作者们都会在win10系统电脑中安装GrADS(Grid Analysis and Display System)。不过部分用户在安装完GrADS，并配置好环境变量后，却发现在命令行中使用grads -l时，会出现FAST_CWD pointer错误，这该怎么办呢？怎么解决呢？下面小编就给大家介绍一下的具体解...
Pycharm实现基于MindSpore的MNIST手写识别
weixin_51424996的博客
07-18 1984
实现基于MindSpore的MNIST手写识别
MindSpore易点通·精讲系列--数据集加载之MindDataset
BaldheadedM的博客
08-11 433
在前面的文章中，我们介绍了、CSVDataset及三个数据集加载API。本文为数据集加载部分的最后一篇文章（当然，如果后续读者有需要，再考虑补充其他API精讲），我们将介绍MindSpore中官方数据格式MindRecord加载所涉及的API的。一个完整的机器学习工作流包括数据集读取（可能包含数据处理）、模型定义、模型训练、模型评估。如何在工作流中更好的读取数据，是各个深度学习框架需要解决的一个重要问题。为此，TensorFlow推出了TFRecord数据格式，而MindSpore给出的解决方案就是。...
Fairmot理解与MindSpore框架下的实现
qq_42878061的博客
03-23 720
FairMOT是由华中科技大学和微软亚洲研究院提出的多目标跟踪（MOT）baseline，作者分析现存one-shot目标追踪算法的问题所在，提出了三个观点：（1）anchors对于Re-ID并不友好，应该采用anchor-free算法。（2）多层特征的融合。（3）对于one-shot方法，Re-ID的特征向量采用低维度更好。Fairmot网络架构在MOT15、MOT16、MOT17、MOT20等数据集上以30fps的帧数达到了目前的SOTA水平。
Mindspore实现手写字体识别
cj12345657582255的博客
07-03 3650
Mindspore实现手写字体识别 一、实验目的 加深对神经网络原理的理解 熟悉Minspore平台 掌握训练过程 二、实验环境 Windows + Python3+ 一台装有集成开发环境（IDE）—— PyCharm的计算机 三、实验内容 1.下载数据集放置目录如下 四、代码填写 #encoding=utf-8 import matplotlib.pyplot as plt import matplotlib import numpy as np import mindspore.dataset as
zh.js:74 Uncaught SyntaxError: Invalid or unexpected token
最新发布
08-24
引用:zh.js:74 Uncaught SyntaxError: Invalid or unexpected token 是一个JavaScript编译时遇到的错误，它表示在代码的第74行出现了无效或意外的标记。这种错误通常是由于语法错误引起的，例如缺少括号、分号或引号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值