本文介绍了PyTorch中的DataLoader和DataSet在处理大量数据时的作用。DataLoader是一个抽象类，用于数据加载，包含sampler和DataSet。DataSet需要继承DataLoader并重写__getitem__()方法，用于按索引获取数据。DataLoader的参数包括dataset、batch_size、num_workers、shuffle和drop_last等。通过实例展示了如何定义自定义的DataSet类和使用DataLoader进行数据加载。
DataLoader 与DataSet(读取数据)
(之前我们是直接把所有数据都丢进模型中去，但实际过程中数据可能很大)
dataloader包含sampler(用来生成索引index)和DataSet（根据索引查找）
torch.utils.data.Dataset：
一个抽象类，所有自定义的Dataset需要继承它，并且复写__getitem__()方法（接受一个索引，返回一个列表）
这个类主要就是得到一个一个的数据
torch.utils.data.DataLoader：
常用参数：dataset：DataSet类，决定数据从哪读以及如何读。
batchsize：批大小 （每个Iteration有多少个数据， 决定一个epoch有多少个Iteration，一批样本输入到模型中，称为一个Iteration）
num_works：是否采用多进程读取数据
shuffle：每个epoch是否乱序（所有训练样本都输入到模型中
最低0.47元/天 解锁文章
379
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
