MindSpore数据集加载-GeneratorDataset卡住、卡死

最新推荐文章于 2024-06-09 11:01:50 发布
最新推荐文章于 2024-06-09 11:01:50 发布
阅读量166 收藏
点赞数
文章标签： python numpy 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/129125168
版权

MindSpore可以自定义Python数据源，通过迭代该数据源构造数据集。有点类似PyTorch的DataLoader。

相关的API可以参考：mindspore.dataset.GeneratorDataset

自定义GeneratorDataset处理数据集时，混用numpy.ndarray  和 mindspore.Tensor 的操作会出现卡死

GeneratorDataset接口自定义的数据集，脚本如下：

原因分析：

猜测在自定义的数据处理中，存在numpy.ndarray -> mindspore.Tensor -> numpy.ndarray的混用过程，并且错误地使用numpy.array(Tensor)做转换，导致GIL锁得不到释放，GeneratorDataset不能正常工作。

打印堆栈分析后证明这个猜想，堆栈：

这个堆栈可以用py-spy这个工具获得，主要是为了看每一个进程目前运行的所在位置（神器啊！！！）

GeneratorDataset处理数据卡住问题，一般为竞争GIL导致的死锁问题，推荐使用 py-spy dump -pid {PID}来定位。

解决办法：

  • 在GeneratorDataset的第一个入参`source`的定义时，涉及到Python function中全部使用numpy.ndarray来替代Tensor
  • 使用Tensor.asnumpy()方法替换numpy.array(Tensor)

对于这个问题，可以在代码的218行，把np.array(image)和np.array([record.label]) 换成 image.asnumpy()和record.label.asnumpy()

其他错误相关帖：

小乐快乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MindSpore深度学习框架-其他
06-12
MindSpore提供了友好的设计和高效的执行，旨在提升数据科学家和算法工程师的开发体验，并为Ascend AI处理器提供原生支持，以及软硬件协同优化。同时，MindSpore作为全球AI开源社区，致力于进一步开发和丰富AI软硬件...
mindspore-nlp-tutorial:MindSpore用户的自然语言处理教程
05-18
mindspore-nlp-教程 mindspore-nlp-tutorial是针对谁正在使用MindSpore研究NLP（自然语言处理）的教程。 该存储库是从迁移的。 NLP中的大多数模型都是从Pytorch版本迁移而来的，少于100行代码（注释或空白行除外） ...
基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip
09-25
【资源说明】 基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip 基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip 基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip 基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip 基于MindSpore的YOLOv3-DarkNet53篮球检测项目python源码.zip 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
【python】基于multiprocessing.Pool实现python并行化的坑和解决方案
weixin_43693967的博客
06-26 983
运行上面多进程的程序，调用的程序只运行了一小部分就退出了，也没个报错。让人摸不着头脑。看起来没有报错，其实有报错！！！把上面的程序 pool.apply_async中加入，就发现问题了可以看到，有报错！！！！但也很奇怪，不使用多进程，不会报错。可能我程序写的还是不好。反正改完报错，多进程就能顺利运行了。
MindSpore数据集加载-GeneratorDataset功能及常见问题
skytttttt9394的博客
02-20 443
先看一个例子所谓生成器，就是指python generator。构造一个生成器传入到GeneratorDataset，MindSpore每次会从生成器中读取一条数据返回。请注意，此时shuffle是失效的，因为GeneratorDataset每次只能获取生成器的下一条数据，且不能知晓究竟有多少条数据，因此无法做到索引上的随机，上述例子无论运行多少遍输出顺序都是一样的。先看一个例子可迭代式的数据集，其实与上面的生成器式数据集的原理是一样的。
批量pandas绘图和保存excel html cvs 数据，不会卡死的方法和思路
qq_32595487的博客
04-25 465
本文章的目的是记录pandas在使用中用到的知识。
图片的某些问题，可能会导致不能np.asarray
hL_dont的博客
09-14 472
报错：TypeError: int() argument must be a string, a bytes-like object or a number, not 'JpegImageFile'的一个离谱的解决思路：换图片
使用np.array遇到的问题
qq_41776136的博客
02-26 1129
在vscode中使用np.array遇到的问题 在vsocde中使用np.array()进行大数组的操作时，可能会遇到转换失败的问题，而且控制台也没有任何提示。此时可以尝试在终端尝试运行，如果正常的话，基本确定是因为编译器的栈空间不足导致的。 解决方法： 在vscode终端中敲入ulimit -s X（X用数字代替） 例如：X=25600=25∗1024时，栈空间为25MB ...
构建GeneratorDataset后调用创建迭代器函数（create_dict_iterator()）时遇到索引错误
weixin_45666880的博客
04-23 152
问题出在GeneratorDataset中调用__getitem__时传入的是一个numpy.int64类型的数据，这种类型并不能作为索引值，因此需要在__getitem__中加一个类型强转的处理过程。不过我还是不明白GeneratorDataset在底层调用的时候到底进行了什么操作，为什么传入的是一个numpy.int64类型的数据呢？我的训练环境：华为云ModelArts Notebook 镜像：mindspore1.7.0-py3.7-ubuntu18.04。操作系统：ubuntu18.04。
【mindspore】mindspore基础操作
guozhibin123的博客
12-07 806
mindspore的tensor、dataset等模块的基本操作
HCIP-AI-MindSpore Developer(H13-331)教材V1.0.zip
02-11
HCIP-AI-MindSpore Developer(H13-331)教材V1.0.
mindspore-lite-1.1.0-inference-android
01-19
mindspore-lite-1.1.0-inference-android
MindSpore数据集加载-GeneratorDataset数据处理报错：The pointer[cnode] is null
Kenji_Shinji的博客
09-20 329
Pynative模式时，__call__函数的输入img参数会是一个Tensor类型的变量，并且在__call__函数中，通过img[:, sh:eh, sw:ew]触发了Tensor的slice操作，会调用底层的算子进行执行。同时，由于数据集处理为并发执行，会启动多个线程/进程进行计算，而当前Tensor操作不支持并发执行，会引发一些异常。由于python不检查输入参数的类型，所以__call__函数的输入img在pynative模式下，会是一个Tensor类型的变量。
如何用MindSpore自定义数据集
qq_31768873的博客
11-15 1979
如何用MindSpore自定义数据集引言如何用MindSpore自定义数据集MindSpore数据集加载简介mindspore.dataset.GeneratorDataset自定义cifar10数据集分析格式加载数据构建cifar10数据集并且完成预处理自定义ImageNet 引言     在深度学习模型的训练过程中，数据集是起着至关重要作用的。然而，由于任务的复杂性，深度学习模型的输入数据也有着各种各样的形式，深度学习模型搭建的过程中，如果遇到特别复杂的数据，研究
【Python】小谈 numpy 数组占用内存空间问题
热门推荐
Alan Lee
11-30 4万+
之前跟同学讨论过numpy数组的占用空间大小问题，但是今天给忘了，又重新试验了一下，主要是利用sys模块的getsizeof函数，使用的版本是 Python3.5。记录下来，以备后忘。 问题 一个空的numpy数组对象占用多大空间。 一个int32、int64、float32、float64数占用多大空间。 代码 import numpy as np import ...
numpy 处理大型数组
qq_43110298的博客
01-25 437
在使用torch 包的时候，需要找到数组中为0的数量 b_ = [i for i in a_ if i == 0] 如果 a_ 是 torch.tensor 类型的，那慢死你 如果 a_ 是 numpy.array 类型的，还好，至少不会卡死
每日一题——Python实现PAT乙级1042 字符统计（举一反三+思想解读+逐步优化）
最新发布
weixin_44915521的博客
06-09 972
这些编程思想和哲学理念在编写高效、健壮的代码时至关重要。通过理解和应用这些原则，我们不仅能够写出性能更好的代码，还能在不同情况下做出更加明智的设计决策。通过理解和应用这些哲学和编程思想，可以在不同场景中灵活运用，写出更加高效、健壮和灵活的代码。评估需求：根据实际需求选择最合适的数据结构和算法。避免冗余：尽量避免不必要的重复计算和操作。权衡利弊：在空间和时间之间找到最佳平衡点。灵活应变：根据输入数据的特性，灵活使用动态数据结构和提前决策策略。
mindspore resnet50 cifar-10
05-29
您的问题是关于MindSpore框架中ResNet50模型在CIFAR-10数据集上的应用。 ResNet50是一个深度卷积神经网络模型，用于图像分类任务。CIFAR-10是一个经典的图像分类数据集，包含10个类别的60000张32x32的彩色图像。 在MindSpore框架中，您可以使用ResNet50模型对CIFAR-10数据集进行训练和测试。首先，您需要准备好CIFAR-10数据集并将其转换为MindSpore支持的数据格式。然后，您可以使用MindSpore提供的ResNet50模型进行训练和测试。 以下是一个示例代码片段，演示如何在MindSpore中使用ResNet50模型对CIFAR-10数据集进行训练和测试： ``` import mindspore.nn as nn import mindspore.ops.operations as P from mindspore import Model from mindspore import Tensor from mindspore import context from mindspore import dataset as ds from mindspore.train.callback import ModelCheckpoint, CheckpointConfig, LossMonitor from mindspore.train.serialization import load_checkpoint, load_param_into_net from mindspore.nn.metrics import Accuracy # Define the ResNet50 model class ResNet50(nn.Cell): def __init__(self, num_classes=10): super(ResNet50, self).__init__() self.resnet50 = nn.ResNet50(num_classes=num_classes) def construct(self, x): x = self.resnet50(x) return x # Load the CIFAR-10 dataset data_home = "/path/to/cifar-10/" train_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=True) test_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=False) # Define the hyperparameters learning_rate = 0.1 momentum = 0.9 epoch_size = 200 batch_size = 32 # Define the optimizer optimizer = nn.Momentum(filter(lambda x: x.requires_grad, resnet50.get_parameters()), learning_rate, momentum) # Define the loss function loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean') # Define the model net = ResNet50() # Define the model checkpoint config_ck = CheckpointConfig(save_checkpoint_steps=1000, keep_checkpoint_max=10) ckpt_cb = ModelCheckpoint(prefix="resnet50", directory="./checkpoints/", config=config_ck) # Define the training dataset train_data = train_data.batch(batch_size, drop_remainder=True) # Define the testing dataset test_data = test_data.batch(batch_size, drop_remainder=True) # Define the model and train it model = Model(net, loss_fn=loss_fn, optimizer=optimizer, metrics={"Accuracy": Accuracy()}) model.train(epoch_size, train_data, callbacks=[ckpt_cb, LossMonitor()], dataset_sink_mode=True) # Load the trained model and test it param_dict = load_checkpoint("./checkpoints/resnet50-200_1000.ckpt") load_param_into_net(net, param_dict) model = Model(net, loss_fn=loss_fn, metrics={"Accuracy": Accuracy()}) result = model.eval(test_data) print("Accuracy: ", result["Accuracy"]) ``` 注意：在上述示例代码中，我们使用的是ResNet50网络的一个变体，该变体适用于CIFAR-10数据集的图像大小。如果您想使用标准的ResNet50网络，您需要调整输入图像的大小。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值