MindSpore:Cifar10Dataset‘s num_workers=8, this value is not within the required range of [1, cpu_thr

最新推荐文章于 2023-05-11 07:45:00 发布

小乐快乐

最新推荐文章于 2023-05-11 07:45:00 发布

阅读量169

点赞数

文章标签：人工智能深度学习服务器

本文链接：https://blog.csdn.net/weixin_45666880/article/details/126069683

版权

问题描述：

Cifar10Dataset's num_workers=8, this value is not within the required range of [1, cpu_thr这个有办法解决吗？

解决方案：

试着设置为4或者3,2试试。

this value is not within the required range of [1, cpu_thread_cnt=4] 这应该是CPU只有4个线程，但是设置了8个，超过了实际硬件提供的，所以报错。

这里data_set = ds.Cifar10Dataset(dataset_path, num_parallel_workers=1, shuffle=True)

这里

data_set = data_set.map(operations=type_cast_op, input_columns="label", num_parallel_workers=1)

data_set = data_set.map(operations=trans, input_columns="image", num_parallel_workers=1)

需要ds.config.set_num_parallel_workers(4)指令设置并行工作器的默认数量

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小乐快乐

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

pytorch学习笔记-num_workers的设置

qq_40379132的博客

05-17

1万+

示例: from torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_data, batch_size=batch, shuffle=True, num_worker=4) valid_loader = DataLoader(dataset=valid_data, batch_size=batch, num_worker=4) 1、num_workers是加载数据（batch）的线程数目 num_w

scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案

最新发布

weixin_43178406的博客

07-21

5万+

本文主要介绍了TypeError: transformers.tokenization_utils_base.PreTrainedTokenizerBase._from_pretrained() got multiple values for keyword argument ‘use_auth_token’ scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案，希望能对学习DB-GPT-Hub项目

参与评论您还未登录，请先登录后发表或查看评论

MindSpore报错“GeneratorDataset‘s num_workers=8, this value is ...“

skytttttt9394的博客

07-17

223

1.可根据报错信息的提示进行问题定位，此案例为CPU核数问题，可在官网教程与开源的MindSpore文档中搜寻设置CPU核数的方法。2.目前MindSpore提供了一种自动数据调优的工具——DatasetAutoTune，用于在训练过程中根据环境资源的情况自动调整数据处理管道的并行度，此过程中会自动检测硬件中CPU的核数进行自适应配置。3.MindSpore中config模块能够设置或获取数据处理的全局配置参数。...

笔记 - 数据读取：cifar10多线程读取1

chen_holy的博客

06-10

176

理论数据增强 1张图片变7张图片 cifar10.py 主要负责cifar10数据集下载定义几个参数 batch_size 下载数据集存放的地址用什么类型的格式存放模型参数w 存储变量数据的一个对象使用eg： cifar10_input.py 主要负责数据读取处理 IMAGE_SIZE = 24 , 实质就是将cifar10图片原始大小...

MindSpore中Cifar数据集的读取及展示

weixin_46006304的博客

10-28

1309

MindSpore中对于常见数据及已经有现成API来进行处理，常见数据集包括：CelebA、Cifar100、Cifar10、Coco、ImageNet、Minist、VOC 下面以Cifar10数据集作为例子展示一下接口调用及数据的图片的展示以下为官网提供的API的接口调用及解释： classmindspore.dataset.Cifar10Dataset(dataset_dir,usage=None,num_samples=None,num_parallel_workers=None,...

关于dataloader设置num_works和batchsize最佳方法

hirocyh的博客

05-16

5419

我是参照了这两个大佬的 1.dataloader合理设置num_works和batchsize https://blog.csdn.net/qq_41917697/article/details/114663331 2.Pytorch之DataLoader的num_works参数设置 https://blog.csdn.net/qq_41196472/article/details/106393994?utm_source=app&app_version=4.7.1&code=app_156

【优化调参】提升GPU和CPU的利用率

qq_41959920的博客

11-27

1万+

在深度学习项目中，调节batch_size和num_workers参数来充分发挥GPU和CPU的性能

ValueError: With n_samples=0, test_size=0.2 and train_size=None, the resulting train set will be emp

weixin_45963617的博客

04-11

1万+

今天写代码labelmetovoc，即将labelme标注的转化为voc标准格式参考的这篇文章时遇到了如下问题： ValueError: With n_samples=0, test_size=0.2 and train_size=None, the resulting train set will be empty. Adjust any of the aforementioned parame...

torch Dataloader中的num_workers

weixin_36670529的博客

05-10

2972

考虑这么一个场景，有海量txt文件，一个个batch读进来，测试一下torch DataLoader的效率如何。基本信息：本机配置：8核32G内存，工作站内置一块2T的机械硬盘，数据均放在该硬盘上操作系统：ubuntu 16.04 LTS pytorch：1.0 python：3.6 1、首先生成很多随机文本txt def gen_test_txt(): population = list(string.ascii_letters) + ['\n'] for i in r

seaborn load_dataset报错的解决方案

热门推荐

weixin_43178406的博客

05-11

8万+

本文主要介绍了seaborn load_dataset报错的解决方案，希望能对使用seaborn的同学们有所帮助。需要说明的是本文是以iris数据为例，但其他数据集的操作方法也是相同的。文章目录 1. 问题描述 2. 解决方案

pytorch中的worker如何工作的

修行之路

11-25

4416

Question 一直很迷，在给Dataloader设置worker数量（num_worker）时，到底设置多少合适？这个worker到底怎么工作的？如果将num_worker设为0（也是默认值），就没有worker了吗？ worker的使用场景： rom torch.utils.data import DataLoader train_loader = DataLoader(dataset=train_data, batch_size=train_bs, shuffle=True, num_wo

pytorch dataloader num_workers参数设置导致训练阻塞

qian1122221的博客

03-15

2万+

问题描述：最近在用RFBnet （源码是pytorch的）训练RSNA的比赛数据，除了要修改一点代码支持RSNA的数据集外（打算后续再写个博客），发现在使用dataloader读取数据时，如果设置num_workers为0，也就是用主进程读取数据，模型训练程序运行正常。如果设置num_workers为其他任何一个大于0的整数，也就是使用子进程读取数据时，训练程序会卡住,卡在训练之前，GPU使用...

PyTorch基本用法(八)——批训练

SnailTyan

09-20

3832

PyTorch基本用法(八)——批训练

pytorch中Dataloader()中的num_workers设置问题

Elvirangel的博客

09-20

1万+

pytorch中Dataloader()中的num_workers设置问题：如果num_workers的值大于0，要在运行的部分放进__main__()函数里，才不会有错： import numpy as np import torch from torch.autograd import Variable import torch.nn.functional import matplot...

提高pytorch在GPU上训练、测试效率的一些实用经验

S20144144的博客

11-21

2550

提高pytorch在GPU上训练、测试效率的一些实用经验 1、测试时out of memory可能是因为未设置no_grad： with torch.no_grad(): for data, label in test_loader: 2、用watch nvidia-smi命令查看GPU利用率时发现利用率一会儿为100%，一会儿为0%，高低跳动不定，可以在dataloader中设置num...

C# (Microsoft.Office.Interop.Word) Value does not fall within the expected range

小鹰信息技术服务部

05-14

5001

C#读取Word模板操作表格（Microsoft.Office.Interop.Word），获取模板中的表格测试document.Tables.Count, 结果是1，也就是表格只有一个，按理说那就是Tables[0]了， Table table = document.Tables[0]; 但是这个写法报错：Value does not fall within the expect...

【MindSpore易点通】如何迁移PyTorch代码并在Ascend上实现单机单卡训练

Kenji_Shinji的博客

11-01

823

由于MindSpore的架构设计不同于PyTorch框架，二者的训练流程以及代码实现也有不同，下图展示了两者的区别。

CIFAR-10 数据集简介

weix1235的博客

11-28

1万+

复现代码的过程中，简单了解了作者使用的数据集CIFAR-10 dataset ，简单记录一下。 CIFAR-10数据集是8000万微小图片的标签子集，它的收集者是：Alex Krizhevsky, Vinod Nair, Geoffrey Hinton。数据集由6万张32*32的彩色图片组成，一共有10个类别。每个类别6000张图片。其中有5万张训练图片及1万张测试图片。数据集被划分为5个训练块和1个测试块，每个块1万张图片。测试块包含了1000张从每个类别中随机选择的图片。训练块包含随机的剩余图像

import mindspore.nn as nn import mindspore.ops.operations as P from mindspore import Model from mindspore import Tensor from mindspore import context from mindspore import dataset as ds from mindspore.train.callback import ModelCheckpoint, CheckpointConfig, LossMonitor from mindspore.train.serialization import load_checkpoint, load_param_into_net from mindspore.nn.metrics import Accuracy # Define the ResNet50 model class ResNet50(nn.Cell): def __init__(self, num_classes=10): super(ResNet50, self).__init__() self.resnet50 = nn.ResNet50(num_classes=num_classes) def construct(self, x): x = self.resnet50(x) return x # Load the CIFAR-10 dataset data_home = "/path/to/cifar-10/" train_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=True) test_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=False) # Define the hyperparameters learning_rate = 0.1 momentum = 0.9 epoch_size = 200 batch_size = 32 # Define the optimizer optimizer = nn.Momentum(filter(lambda x: x.requires_grad, resnet50.get_parameters()), learning_rate, momentum) # Define the loss function loss_fn = nn.SoftmaxCrossEntropyWithLogits(sparse=True, reduction='mean') # Define the model net = ResNet50() # Define the model checkpoint config_ck = CheckpointConfig(save_checkpoint_steps=1000, keep_checkpoint_max=10) ckpt_cb = ModelCheckpoint(prefix="resnet50", directory="./checkpoints/", config=config_ck) # Define the training dataset train_data = train_data.batch(batch_size, drop_remainder=True) # Define the testing dataset test_data = test_data.batch(batch_size, drop_remainder=True) # Define the model and train it model = Model(net, loss_fn=loss_fn, optimizer=optimizer, metrics={"Accuracy": Accuracy()}) model.train(epoch_size, train_data, callbacks=[ckpt_cb, LossMonitor()], dataset_sink_mode=True) # Load the trained model and test it param_dict = load_checkpoint("./checkpoints/resnet50-200_1000.ckpt") load_param_into_net(net, param_dict) model = Model(net, loss_fn=loss_fn, metrics={"Accuracy": Accuracy()}) result = model.eval(test_data) print("Accuracy: ", result["Accuracy"])这段代码有错误

05-29

train_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=True) test_data = ds.Cifar10Dataset(data_home, num_parallel_workers=8, shuffle=False) # Define the hyperparameters learning_...