数据读取机制Dataloader与Dataset
Dataloader作为一个迭代器主要有__iter__
与__next__
两个魔方方法
for data, label in train_loader:
for 循环会调用 dataloader 的 __iter__(self)
方法,以此获得迭代器来遍历 dataset
__next__
中有index和data,其中index是通过Sampler获取的,然后根据获取的index通过Dataset的dataset_fetcher从dataset中读取数据,在读取数据时通过dataset的__getitem__
方法获取data(dataset的核心就是此方法,此方法中还可包含对数据的预处理)