本文介绍了PyTorch中数据读取的机制，包括数据收集、划分以及使用DataLoader和Dataset进行数据加载。DataLoader用于构建可迭代的数据装载器，其参数如batchsize、num_workers等影响数据读取方式。Dataset则负责根据索引读取图片和标签。通过Sampler获取数据索引，并在getitem方法中从硬盘读取数据，最终经过collate_fn整理成批量数据供模型训练。
数据
数据收集
Img，Label
数据划分
train：训练集，训练模型
valid：验证集，验证模型是否过拟合（可以理解为用验证集挑选模型）
test：测试集，测试挑选出来模型的性能
数据读取
DataLoader
sampler：生成索引
DataSet：Img，Label，根据索引读取图片和标签
torch.utils.data.DataLoader
功能：构建可迭代的数据装载器
- dataset：Dataset类，决定数据从哪读取以及如何读取
- batchsize：批大小
- num——works：是否多进程读取数据
- shuffle：每个epoch是否乱序
- drop_last：当样本数不能被batchsize整除时，是否舍弃最后一批数据
Epoch：所有训练样本都已输入到模型中，称为一个Epoch
Iteration：一批样本输入到模型中，称之为一个Iteration
Batchsize：批大
最低0.47元/天 解锁文章
扫一扫
758
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
