PyTorch 详细常用图像数据集加载及预处理（三种）

原创

已于 2022-02-20 10:30:40 修改 · 1.4w 阅读

226 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #机器学习

于 2022-02-19 15:14:23 首次发布

本文详细介绍了如何使用PyTorch定制数据集，包括Dataset与DataLoader的基本原理，以及如何通过torchvision进行数据增强和预处理。着重讲解了如何从txt文件读取数据并构建MyDataset类，以及使用ImageFolder加载torchvision内置数据集的方法。

前言：

from torch.utils.data import Dataset
from torchvision import datasets
from torch.utils.data import DataLoader
import torchvision.transforms as transforms

1、Dataset 在 torch.utils.data 无论是加载文本还是图像数据集，加载自定义数据集都需要他。官方提供的dataset则从torchvision里import。
2、DataLoader 在torch.utils.data 不管是文本还是图片都用这个包。
3、对图像的预处理用torchvision.transforms 包。

数据预处理部分：

数据增强：torchvision中transforms模块自带功能，比较实用

数据预处理：torchvision中transforms也帮我们实现好了，直接调用即可

data_transforms = {
   
   
    'train': transforms.Compose([transforms.RandomRotation(45),#随机旋转，-45到45度之间随机选
        transforms.CenterCrop(224),#从中心开始裁剪
        transforms.RandomHorizontalFlip(p=0.5),#随机水平翻转 选择一个概率概率
        transforms.RandomVerticalFlip(p=0.5),#随机垂直翻转
        transforms.ColorJitter(brightness=0.2, contrast=0.1, saturation=0.1, hue=0.1),#参数1为亮度，参数2为对比度，参数3为饱和度，参数4为色相
        transforms.RandomGrayscale(p=0.025),#概率转换成灰度率，3通道就是R=G=B
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])#均值，标准差
    ]),
    'valid': transform

最低0.47元/天解锁文章