for i, batch in enumerate(train_loader)不能正常生成batch的解决方案

最新推荐文章于 2024-06-21 15:12:21 发布
最新推荐文章于 2024-06-21 15:12:21 发布
阅读量4.9k 收藏 3
点赞数 3
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45549370/article/details/122962806
版权

for i, batch in enumerate(train_loader)不能正常生成batch的解决方案

经过2天的调整，终于解决了这个问题，太开心了，特地记录一下，回报社会！

原因

相信很多人在看完论文都会想debug一下开源项目，但是在debug时我们只需要知道数据的形态变化和训练方法，并不关心训练效果，如果用整个数据集就费时费卡。因此很多人选择用一个小数据集debug。

以我debug的One Thiing One Click为例，预处理的数据集是scannet，处理好的文件放在train_weakly/下，每个场景文件为 ‘xxx_inst_nostuff.pth’。

于是我就从train_weakly/下选择了2个 ‘.pth’ 文件作为debug数据集，但是我没有注意到的是，选用小数据集的同时，一定要修改batch_size！而此时我的batch_size还是项目默认的4, 所以自然无法正常生成batch

于是出现了以下输出：

# check whether a batch can be generated
for id, batch in enumerate(dataset.train_data_loader):
	print(id, batch)
# >> 2222 []

当我把batch_size改成1后就能正常生成batch了！（下图）
在这里插入图片描述

Hogwarts扫地老太太
关注
  • 3
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中enumerate函数代码解析
09-21
主要介绍了Python中enumerate函数代码解析，涉及函数说明以及相关示例，具有一定参考价值，需要的朋友可以了解下。
关于pytorch处理类别不平衡的问题
12-23
for i, (data, target) in enumerate(train_loader): print("batch index {}, 0/1: {}/{}".format(i, len(np.where(target.numpy() == 0)[0]), len(np.where(target.numpy() == 1)[0]))) ``` 通过这种方式，`...
Pytorch（三）：Dataset和Dataloader的理解
火柴的初心的博客
04-14 1万+
Dataloader 函数原型： torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=F...
深度学习算法informer（时序预测）（七）（模型训练、验证、测试）
最新发布
weixin_43336108的博客
06-21 124
模型训练、验证、测试。
【5】pytorch批量训练
qq_33612665的博客
11-30 708
【1】利用dataloader函数完成批量训练 【2】代码 # -*- coding: utf-8 -*-# #------------------------------------------------------------------------------- # Name: batchtest # Description: # Author: Administrator # Date: 2020/11/29 #---------------
PyTorch中DataLoader及其与enumerate（）用法介绍
流浪若相惜的专栏
09-23 6243
例如，在SGD常见情况下，Sampler可以随机排列一列索引，一次生成每个索引，或者为小批量SGD生成少量索引。包含一个批处理维，用来表示样本批处理后的大小，批处理后的样本称作“批处理样本”。对于数据加载，将pin_memory = True传递给DataLoader将自动将获取的数据张量放入固定内存中，从而能够更快地将数据传输到支持CUDA的GPU。批处理的个数由每个批处理大小及drop_last（最后不够一个批处理的样本处理过程）决定，每个批处理样本索引可以是任意的，这个可以通过shuttle来决定。
Python的enumerate函数
m0_52392182的博客
11-12 1273
Python的enumerate函数的使用
【Python报错】train epoch数据读取for i, batch in enumerate(train_loader)失败？卡住？
MengYa_Dream的博客
09-20 3423
for i, batch in enumerate(train_loader) exception: no description for for i, batch in enumerate(train_loader): python NotImplementedError no description Caught IndexError in DataLoader worker process 0 raise NotImplementedError NotImplementedError
for i, data in enumerate(trainloader, 0): 解释
weixin_43156255的博客
09-21 1万+
查阅python官方文档 enumerate返回的枚举对象：如[(0, ‘spring’), (1, ‘summer’)] 其中i,data 第一次循环时分别就是 0 、spring ，第二次循环就是 1 、 summer 在for i , data in enumerate(trainloader, 0)中我们常碰见0变为1，其实就是将索引从0开始修改为从1开始，那么i,data 第一次循环时分别就是 1 、spring ，第二次循环就是 2 、 summer 希望我的回答对你有帮助，点个赞再走吧，谢谢
informer辅助笔记：exp/exp_informer.py
qq_40206371的博客
11-30 925
【代码】informer辅助笔记：exp/exp_informer.py。
pytorch_mnist-python源码.zip
05-02
for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += ...
pytorch classification的.py_pytorch_pytorch分类_MNISTpytorch_
10-03
for i, (images, labels) in enumerate(train_loader): outputs = model(images) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() if (i+1) % 100 == 0: ...
Mnist-Torch_torch_Mnist-Torch_
10-03
for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss ...
pytorch_pytorch_卷积神经网络_
09-29
for i, (images, labels) in enumerate(train_loader): optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() print(f'Epoch [{epoch+1}/{...
Python | enumerate() 函数
王博（Kings）的博客
10-22 2367
用来添加一个索引 >>>seasons = ['Spring', 'Summer', 'Fall', 'Winter'] >>> list(enumerate(seasons)) [(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')] >>> list(enumerate(seasons, start=1)) # 下标从 1 开始 [(1, 'Spring'), (2, 'Su
训练网络时一直卡在for k,batch in enumerate(train_loader)
weixin_42039823的博客
03-19 3633
这个是重启突然出现的问题，没有根本的解决问题的方式，但是暂时性的将num_worker=0之后加快了很多，猜想是因为电脑固态坏了，在机械里重装系统，机械的读取太慢了。
enumerate的用法
热门推荐
junjian Li
08-06 1万+
for i, data in enumerate(trainloader, 0): #data里面包含图像数据（inputs）(tensor类型的）和标签（labels）(tensor类型）。 inputs, labels = data enumerate()用于可迭代\可遍历的数据对象组合为一个索引序列，同时列出数据和数据下标.上面代码的0表示从...
torch dataloader 数据并行_【PyTorch修炼】三、先做减法，具体例子带你了解torch使用的基本套路（分类和时间序列小例子）...
weixin_39949889的博客
11-22 553
一、前言最近确实太忙了，没能很好的写这个系列的文章，但是大家不要急，好事多磨，我要保证每一篇的质量。今天要讲的是利用torch去做实验，大体完成一个任务的写法框架思路。因为这节之后我会大量的举例以及各种完整的代码细节讲解，大概意思就是我想利用例子把很多细节抠出来这样来说明一些知识点，这样操作可能要比直接列出来知识点更具体些，大家接受这些知识点也能更加的舒服一些。二、做减法，思考整个流程都需要什么？...
Pytorch学习笔记三深度神经网络DNN
~花花~
09-04 4405
Geoffrey Hinton提出了一种名为“深度信念网络”的神经网络，可以使用“贪婪逐层预训练”的策略有效地进行神经网络的训练。紧接着，这种方法在其他神经网络的训练上也取得了成功。在诸如图像识别、语音识别等领域，这些新型的神经网络取得了令人瞩目的成绩，标志着机器学习一个全新时代的到来。这些新型的神经网络统称为深度学习，因为这些神经网络的模型可以有多个隐含层。深度学习主要包括深度神经网络DNN、卷积神经网络CNN、循环神经网络RNN、LSTM以及强化学习等。 深度学习之所以能够成功，是因为解决了神经网络的训
for i, data in enumerate(train_loader): inputs, labels = data和batch_size有关系吗
05-31
是的，`batch_size` 参数是 PyTorch 中 `DataLoader` 的一个参数，用于指定每个批次中包含的样本数量。在使用 `DataLoader` 加载数据时，如果您指定了 `batch_size` 参数，则每个批次中将包含该数量的样本。 因此，在使用 `enumerate(train_loader)` 迭代遍历数据加载器时，每个 `data` 将是一个包含 `batch_size` 个样本的元组。如果您使用以下语法解包元组： ```python for i, data in enumerate(train_loader): inputs, labels = data ``` 那么 `inputs` 和 `labels` 将分别是一个长度为 `batch_size` 的张量或数组，表示输入和标签数据。因此，`batch_size` 参数直接影响您在训练循环中使用的输入和标签数据的形状。 希望这个回答能够解决您的问题，如果您还有其他疑问，请随时提出。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值