PyTorch 介绍 | DATSETS & DATALOADERS

最新推荐文章于 2024-04-10 18:22:31 发布

pythonxxoo

最新推荐文章于 2024-04-10 18:22:31 发布

阅读量1.7k

点赞数

分类专栏：计算机文章标签： pytorch 深度学习人工智能

本文链接：https://blog.csdn.net/pythonxxoo/article/details/122739010

版权

本文介绍了PyTorch中的数据处理工具，包括DATASETS和DATALOADERS的使用。通过加载Fashion-MNIST数据集实例，展示了如何加载和迭代数据集，以及创建自定义数据集的方法。同时，文章讨论了DataLoader在训练过程中的作用，提供批量处理数据并进行随机打乱的功能。

摘要由CSDN通过智能技术生成

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475
用于处理数据样本的代码可能会变得凌乱且难以维护；理想情况下，我们希望数据集代码和模型训练代码解耦（分离），以获得更好的可读性和模块性。PyTorch提供了两个data primitives：torch.utils.data.DataLoader 和 torch.utils.data.Dataset，允许你使用预加载的datasets和你自己的data。Dataset 存储样本及其对应的标签，DataLoader 给 Dataset 包装了一个迭代器，以便访问样本。

PyTorch库提供了一些预加载的数据集（如FashionMNIST），它们是 torch.utils.data.Dataset 的子类，特定的数据对应特定的实现函数。它们可以用来原型化和基准化你的模型。你可以在这里查看它们：Image Datasets, Text Datasets, and Audio Datasets。

加载数据集

这是一个怎样从TorchVision加载Fashion-MNIST数据集的例子。Fashion-MNIST来自于Zalando的文章，由60000张训练样本和10000张测试样本组成。每一个样本包含一个28x28
的灰度图片和对应的10类中的1个类的标签。

我们用以下参数加载FashionMNIST Dataset

root 是训练/测试数据的保存路径
train 指定是训练集还是测试集
download=True 如果 root 中没有，则从网上下载
transform 和 target_transform 指定样本的变换

import torch
from torch.utils.data import Dataset
from torchvision import datasets
from torchvision.transforms import ToTensor
import matplotlib.pyplot as plt


training\_data = datasets.