MindSpore自定义数据集迭代报错

我在做PyTorch模型向MindSpore模型的迁移工作。

在PyTorch中,数据在依次进行了下面两个数据增强操作后,是以类似list里套了两个Tensor这样存储的([Tensor,Tensor])

class ToTensor(object):
    def __call__(self, data):
        return torch(data, dtype=torch.float)


class TwoNoiseTransform(object):
    """Create two crops of the same image"""
    def __init__(self, transform):
        self.transform = transform

    def __call__(self, x):
        return [self.transform(x), self.transform(x)]

我在做迁移时也采用这样的方式,只不过将里面的torch.tensor换成了ms.tensor.

但在我尝试进行最基本的自定义数据集的迭代时,却报了这样的错误。是因为mindspore在进行迭代的时候默认将数据转换成numpy的形式,而pytorch中却没有做这样的默认转换吗?如果是的话请问应该怎么解决?

Traceback (most recent call last):
  File "train.py", line 128, in 
    for columns in train_ds.create_dict_iterator():
  File "D:\anaconda\envs\gaitRecognition\lib\site-packages\mindspore\dataset\engine\iterators.py", line 140, in __next__
    data = self._get_next()
  File "D:\anaconda\envs\gaitRecognition\lib\site-packages\mindspore\dataset\engine\iterators.py", line 228, in _get_next
    raise err
  File "D:\anaconda\envs\gaitRecognition\lib\site-packages\mindspore\dataset\engine\iterators.py", line 211, in _get_next
    return {k: self._transform_md_to_output(t) for k, t in self._iterator.GetNextAsMap().items()}
RuntimeError: Exception thrown from PyFunc. TypeError: Data type of 1th item of the input or its converted Numpy array is expected to be int or float or str, but got object.

At:
  D:\anaconda\envs\gaitRecognition\lib\site-packages\mindspore\dataset\engine\datasets_user_defined.py(169): _convert_row
  D:\anaconda\envs\gaitRecognition\lib\site-packages\mindspore\dataset\engine\datasets_user_defined.py(285): process

Line of code : 208
File         : mindspore\ccsrc\minddata\dataset\engine\datasetops\source\generator_op.cc

****************************************************解答*****************************************************

不需要构造成ms.Tensor的。只需要返回numpy就可以了,如

class Resize():
      def __call__(self, data):
            data = cv2.resize(data)
            return np.array(data)
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值