【深度之眼】Pytorch框架班第五期-Week2【任务1】第一节：数据读取机制Dataloader与Dataset

Brignt_run

于 2020-07-28 21:29:51 发布

阅读量387

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习机器学习+机器学习实战文章标签：深度学习

本文链接：https://blog.csdn.net/Zero_run/article/details/107637032

深度学习同时被 2 个专栏收录

12 篇文章

订阅专栏

机器学习+机器学习实战

6 篇文章

订阅专栏

本文详细介绍了使用机器学习进行人民币二分类的模型训练过程，涵盖了DataLoader与Dataset的使用，解释了Epoch、Iteration与Batchsize的概念，以及如何通过DataLoader实现数据的高效加载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

人民币二分类

在这里插入图片描述

机器学习模型训练步骤

在这里插入图片描述

DataLoader 与 Dataset

DataLoader

torch.utils.data.DataLoader

Data(dataset,
 	batch_size=1,
	shuffle=False,
 	sampler=None,
 	batch_sampler=None,
 	num_workers=0,
 	collate_fn=None,
 	pin_memory=False,
 	drop_list=False,
 	timeout=0,
 	worker_init_fn=None,
 	multiprocessing_context=None)

功能：构建可迭代的数据装载器

dataset：Dataset类，决定数据从哪读取以及如何读取
batchsize：批大小
num_works: 是否多进程读取数据
shuffle：每个epoch是否乱序
drop_list：当样本数不能被batchsize整除时，是否舍弃最后一批数据

Epoch: 所有训练样本都已输入到模型中，称为一个Epoch
Iteration: 一批样本输入到模型中，称之为一个Iteration
Batchsize: 批大小，决定一个Epoch有多少个Iteration

在这里插入图片描述

Dataset

torch.utils.data.Dataset

class Dataset(object):
	def __getitem__(self, index):
		raise NotImplementedError
	def __add__(self, other):
		return ConcatDataset([self, other])

功能：Dataset抽象类，所有自定义个Dataset需要继承它，并且复写__getitem__()
getitem: 接收一个索引，返回一个样本

在这里插入图片描述