【AI】PyTorch入门（三）：数据集和数据加载器

郭老二

于 2022-09-06 23:30:00 发布

阅读量537

点赞数

分类专栏： AI 文章标签：人工智能 pytorch 深度学习

本文链接：https://blog.csdn.net/u010168781/article/details/126728877

版权

AI 专栏收录该内容

115 篇文章 ¥69.90 ¥99.00

订阅专栏

本文介绍了PyTorch中的数据集处理，包括数据集的描述类、预加载数据集如FashionMNIST的使用，以及如何进行数据可视化和自定义数据。PyTorch提供内置数据集，方便进行图像、音频、文本的处理，并通过DataLoader进行高效加载。文章还展示了自定义数据集的实现方法，包括CSV文件格式的数据描述。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、简述

PyTorch中对数据集的描述类都是从torch.utils.data.Dataset继承，然后交给torch.utils.data.DataLoader来处理。
在模型训练时，只操作 torch.utils.data.DataLoader 即可，这样就将数据集的代码和训练的代码分离，方便维护。

2、PyTorch预加载数据集

PyTorch针对图像、音频、文本都提供了常用的内置数据集。这些数据集继承自torch.utils.data.Dataset，并且实现了如下方法，可以传递给torch.utils.data.DataLoader

__getitem__
__len__

数据加载示例：

imagenet_data = torchvision.datasets.ImageNet('path/to/imagenet_root/')
data_loader = torch.utils.data.DataLoader(imagenet_data,
                                          batch_size=4,
                                          shuffle=True,
                                          num_workers

了解本专栏