【深度之眼】Pytorch框架班第五期-Week2【任务1】第一节：数据读取机制Dataloader与Dataset

人民币二分类

机器学习模型训练步骤

DataLoader 与 Dataset

DataLoader

torch.utils.data.DataLoader

Data(dataset,
 	batch_size=1,
	shuffle=False,
 	sampler=None,
 	batch_sampler=None,
 	num_workers=0,
 	collate_fn=None,
 	pin_memory=False,
 	drop_list=False,
 	timeout=0,
 	worker_init_fn=None,
 	multiprocessing_context=None)

功能： 构建可迭代的数据装载器

• dataset：Dataset类，决定数据从哪读取以及如何读取
• batchsize：批大小
• num_works: 是否多进程读取数据
• shuffle：每个epoch是否乱序
• drop_list：当样本数不能被batchsize整除时，是否舍弃最后一批数据

Epoch: 所有训练样本都已输入到模型中，称为一个Epoch
Iteration: 一批样本输入到模型中，称之为一个Iteration
Batchsize: 批大小，决定一个Epoch有多少个Iteration

Dataset

torch.utils.data.Dataset

class Dataset(object):
	def __getitem__(self, index):
		raise NotImplementedError
	def __add__(self, other):
		return ConcatDataset([self, other])

功能：Dataset抽象类，所有自定义个Dataset需要继承它，并且复写__getitem__()
getitem: 接收一个索引，返回一个样本