for batch_idx, (batch_x, batch_y) in enumerate(test_loader)报错:can‘t pickle module objects

36 篇文章 149 订阅
26 篇文章 3 订阅

报错信息如下:

Traceback (most recent call last):
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 151, in <module>
    train()
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 140, in train
    for batch_idx, (batch_x, batch_y) in enumerate(test_loader):
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 279, in __iter__
    return _MultiProcessingDataLoaderIter(self)
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 719, in __init__
    w.start()
  File "F:\Anaconda3\lib\multiprocessing\process.py", line 112, in start
    self._popen = self._Popen(self)
  File "F:\Anaconda3\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "F:\Anaconda3\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "F:\Anaconda3\lib\multiprocessing\popen_spawn_win32.py", line 89, in __init__
    reduction.dump(process_obj, to_child)
  File "F:\Anaconda3\lib\multiprocessing\reduction.py", line 60, in dump
    ForkingPickler(file, protocol).dump(obj)
TypeError: can't pickle module objects

解决办法:将

test_data = DataLoader(dataset=test, batch_size=5, shuffle=True, num_workers=2)

中num_workers=2改成等于0。num_workers代表多线程加载数据,Windows上不能用(必须0),Linux可用。继续报错:

Traceback (most recent call last):
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 151, in <module>
    train()
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 140, in train
    for batch_idx, (batch_x, batch_y) in enumerate(test_loader):
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 345, in __next__
    data = self._next_data()
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\dataloader.py", line 385, in _next_data
    data = self._dataset_fetcher.fetch(index)  # may raise StopIteration
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\_utils\fetch.py", line 44, in fetch
    data = [self.dataset[idx] for idx in possibly_batched_index]
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\_utils\fetch.py", line 44, in <listcomp>
    data = [self.dataset[idx] for idx in possibly_batched_index]
  File "F:\Anaconda3\lib\site-packages\torch\utils\data\dataset.py", line 207, in __getitem__
    return self.datasets[dataset_idx][sample_idx]
  File "E:/Program Files/PyCharm 2019.2/machinelearning/homework/CNN.py", line 32, in __getitem__
    img = self.transform(img)
TypeError: 'module' object is not callable

刚刚第一个问题应该是解决了的,只不过现在又出现了未知的错误。


错误已经解决:加载测试数据和加载训练数据的transform不一样!!!

### 回答1: for batch_idx, (data, target) in enumerate(train_loader): 这段代码的意思是:使用train_loader迭代器遍历训练数据集,每次迭代返回一个batch的数据和标签,batch_idx表示当前迭代的batch的索引,data表示当前迭代的batch的数据,target表示当前迭代的batch的标签。 ### 回答2: 在机器学习中,数据分批次(batch)训练是常见的优化方法。在PyTorch中,我们可以用DataLoader将数据分组到可迭代的小批次(batch)中,以便在模型中进行高效的训练,同时也可以在数据集过大时节省内存空间。 在PyTorch中,train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)可以实现将训练数据集train_dataset分为64个一组的小批次,并且每个批次数据都是随机排序的。在训练模型时,我们需要遍历每个小批次(batch)的数据,将数据和标签传递给模型进行训练。这个过程通常使用for循环来实现。 其中,对于for batch_idx, (data, target) in enumerate(train_loader)这一句的解释如下: batch_idx是用来记录批次(batch)的编号的变量。具体来说,batch_idx=0表示训练集中的第一个批次(batch),batch_idx=1表示训练集中的第二个批次(batch),以此类推。 (data, target)是用来存储一个小批次(batch)的数据和标签的元组。其中,data是一个张量(tensor),是一个包含批次(batch)中所有数据的张量;target是一个张量(tensor),是一个包含批次(batch)中所有标签的张量。 enumerate(train_loader)是一个类似于Python中的内置函数enumerate的函数。它将可迭代对象(train_loader)中的元素进行枚举,返回一个可以遍历的(批次编号, 批次数据)的可迭代对象。在使用enumerate函数时,需要注意的是批次(batch)的编号从0开始计数。 因此,for batch_idx, (data, target) in enumerate(train_loader)就是一个用于遍历训练集中所有批次的循环语句。在每一次循环中,我们可以通过batch_idx获取批次编号,通过data和target获取该批次的数据和标签,最后将它们传递给模型进行训练或预测。 ### 回答3: 在深度学习中,经常需要读取大量数据进行训练。为了高效读取和使用数据,我们通常使用数据加载器(DataLoader)将数据进行分批加载。 在使用PyTorch进行深度学习时,我们可以通过train_loader = DataLoader(train_data, batch_size=50, shuffle=True)的方式来创建数据加载器。其中,train_data是我们的数据集,batch_size代表每个批次的样本数量,shuffle为True则表示每个批次训练时随机打乱数据集。 而在具体训练过程中,我们需要使用for循环来遍历数据集中的每个批次。而在PyTorch中提供了enumerate(train_loader)函数,可以同时得到批次的索引batch_idx和相应的数据和标签信息(data, target),具体表现为: for batch_idx, (data, target) in enumerate(train_loader): # do something with data and target 其中batch_idx表示批次的索引,是一个整型数值。data和target是一个长度为batch_size的元组,分别表示当前批次的输入数据和对应标签。可以使用data.size()方法查看data的形状,使用target.size()方法查看target的形状。 在训练过程中,我们通常会在每个批次上对模型进行一次前向传递、反向传递和权重更新的过程。因此我们的训练代码会在for循环中执行,如: for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() # 清空之前计算的梯度 output = model(data) # 模型输出 loss = criterion(output, target) # 计算损失 loss.backward() # 反向传播计算梯度 optimizer.step() # 更新权重 在训练过程中,我们通常会调节batch_size的大小和学习率等超参数来寻找最优的模型效果。同时,使用正确的数据加载方式和for循环训练方式可以使我们的模型训练更加高效。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cyril_KI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值