一、数据读取流程
二、数据读取流程数据提取流程
读那些:Sampler输出的Index
从哪读:Dataset中的data_dir
读什么:Dataset中的getitem
三、DataLoader
torch.utils.data.DataLoader
功能:构建可迭代的数据装载器
dataset: Dataset类,决定数据从哪读取及如何读取
batchsize :批大小
num_works:是否多进程读取数据
shuffle:每个epoch是否乱序
drop_ last:当样本数不能被batchsize整除时,
是否舍弃最后一批数据
Epoch:所有训练样本都已输入到模型中,称为一个Epoch
Iteration:一批样本输入到模型中,称之为一个Iteration
Batchsize:批大小,决定一个Epoch有多少个Iteration
样本总数: 80,Batchsize: 8
1 Epoch = 10 Iteration
样本总数: 87 Batchsize: 8
1 Epoch = 10 Iteration ? drop_last=True
1 Epoch = 11 Iteration ? drop_last=False
四、Dataset
torch.utils.data.Dataset
功能: Dataset抽象类,所有自定义的Dataset需要继承它并复写
_getitem_()
getitem :接收一个索引,返回一个样本