torch.utils.data.dataloader.DataLoaderIter 无法导入问题

torch提供的DataLoader可以提供一个可迭代对象iterable object(注意不是迭代器,iterator),利用python本身良好的生态环境,实现简洁、节省内存资源的数据读取。而DataLoader只是一个iterable object,只能像python list一样用for循环去取,不能像iterator一样,可以使用next方法,在一些场景下缺乏灵活性。
可能就是因为上述原因,torch在历史某个版本使用了DataLoaderIter对象。
这两个clas的具体使用以及其源码解读参考:
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)

为了说明哪些场合可能需要用到DataLoaderIter,下面举个例子
例如:

import torch
from torch.utils.data import RandomSampler,DataLoader
from utils.dataloader_iter import DataLoaderIter

class myDataset(torch.utils.data.Dataset):
    ''' create my own torch Dataset
    implement torch.utils.data.Dataset
    '''
    def __init__(self, dataSource):
        '''
        :param dataSource: iterable object like list
        datasource means a list contain all data sample
        e.g. [obj1,obj2...]
        '''
        self.dataSource = dataSource

    def __getitem__(self,index):
        element = self.dataSource[index]
        return element
    def __len__(self):
        return len(self.dataSource)

template = [{"1":"so elegant","2":2,"3":3},{"1":1,"2":2,"3":3}]
dataset=myDataset(template)
sampler = RandomSampler(dataset)
train_loader = DataLoader(dataset=dataset, batch_size=1,sampler=sampler)
for t in train_loader:
   print(t)
   break

for t in train_loader:
   print(t)
   break

实现上面我自定义了myDataset class继承Dataset,然后构造简单的Dataloader,一般而言for循环已经可以支持大部分实验,但是可以看到train_loader在每次for循环的时候index都会被重置:
在这里插入图片描述
DataLoaderIter作为DataLoader的又一层封装,就可以实现iterator的特性,即用next取,同时保留index:

dataIter=DataLoaderIter(train_loader)
print(dataIter.next())
print(dataIter.next())

在这里插入图片描述

但是DataLoaderIter在很早的版本就被torch取消了:
在这里插入图片描述
所以如果想要使用DataLoaderIter得自己取0.3.1的源码copy到自己的file里面
torch 0.3.1 doc

参考资料:

torch 0.3.1 doc
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)
Error with _DataLoaderIter in torch.utils.data.dataloader

  • 5
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值