torch提供的DataLoader可以提供一个可迭代对象iterable object
(注意不是迭代器,iterator
),利用python本身良好的生态环境,实现简洁、节省内存资源的数据读取。而DataLoader只是一个iterable object
,只能像python list一样用for循环去取,不能像iterator
一样,可以使用next方法,在一些场景下缺乏灵活性。
可能就是因为上述原因,torch在历史某个版本使用了DataLoaderIter对象。
这两个clas的具体使用以及其源码解读参考:
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)
为了说明哪些场合可能需要用到DataLoaderIter,下面举个例子
例如:
import torch
from torch.utils.data import RandomSampler,DataLoader
from utils.dataloader_iter import DataLoaderIter
class myDataset(torch.utils.data.Dataset):
''' create my own torch Dataset
implement torch.utils.data.Dataset
'''
def __init__(self, dataSource):
'''
:param dataSource: iterable object like list
datasource means a list contain all data sample
e.g. [obj1,obj2...]
'''
self.dataSource = dataSource
def __getitem__(self,index):
element = self.dataSource[index]
return element
def __len__(self):
return len(self.dataSource)
template = [{"1":"so elegant","2":2,"3":3},{"1":1,"2":2,"3":3}]
dataset=myDataset(template)
sampler = RandomSampler(dataset)
train_loader = DataLoader(dataset=dataset, batch_size=1,sampler=sampler)
for t in train_loader:
print(t)
break
for t in train_loader:
print(t)
break
实现上面我自定义了myDataset class继承Dataset,然后构造简单的Dataloader,一般而言for循环已经可以支持大部分实验,但是可以看到train_loader
在每次for循环的时候index都会被重置:
DataLoaderIter作为DataLoader的又一层封装,就可以实现iterator的特性,即用next取,同时保留index:
dataIter=DataLoaderIter(train_loader)
print(dataIter.next())
print(dataIter.next())
但是DataLoaderIter在很早的版本就被torch取消了:
所以如果想要使用DataLoaderIter得自己取0.3.1的源码copy到自己的file里面
torch 0.3.1 doc
参考资料:
torch 0.3.1 doc
PyTorch学习笔记(6)——DataLoader源代码剖析
Pytorch数据读取(Dataset, DataLoader, DataLoaderIter)
Error with _DataLoaderIter in torch.utils.data.dataloader