浅谈Dataset和Dataloader在加载数据时如何调用到getitem（）函数

最新推荐文章于 2024-07-29 11:27:31 发布

剪烛西窗2021

最新推荐文章于 2024-07-29 11:27:31 发布

阅读量2.8k

点赞数

分类专栏： pytorch学习

本文链接：https://blog.csdn.net/qq_32938525/article/details/115588929

版权

本文介绍了PyTorch中Dataset基类的作用，阐述了如何构建Dataset子类，特别是Init和getitem方法。Dataloader作为迭代器，通过__iter__调用Dataset的__getitem__来获取数据和标签。文章强调了Dataloader的batch_size和shuffle参数，并提醒注意标签应为Long整数类型，以及如何将数据转移到GPU进行加速。

摘要由CSDN通过智能技术生成

浅谈Dataset和Dataloader

• 1 Dataset基类
• 2 构建Dataset子类
o 2.1 Init
o 2.2 getitem
• 3 dataloader
1 Dataset基类
PyTorch 读取其他的数据，主要是通过 Dataset 类，所以先简单了解一下 Dataset 类。在看很多PyTorch的代码的时候，也会经常看到dataset这个东西的存在。Dataset类作为所有的 datasets 的基类存在，所有的 datasets 都需要继承它。
先看一下源码
在这里插入图片描述

这里有一个__getitem__函数，getitem__函数接收一个index，然后返回图片数据和标签，这个index通常是指一个list的index，这个list的每个元素就包含了图片数据的路径和标签信息。之后会举例子来讲解这个逻辑。
其实说着了些都没用，因为在训练代码里是感觉不到这些操作的，只会看到通过DataLoader就可以获取一个batch的数据，这是触发去读取图片这些操作的是DataLoader里的__iter(self)(后面再讲)。
2 构建Dataset子类
下面我们构建一下Dataset的子类，叫它MyDataset类：