Pytorch图片数据集预处理与增强

已于 2023-03-28 14:14:04 修改
阅读量3.3k 收藏 40
点赞数 15
分类专栏： Python CV 文章标签： pytorch 深度学习 人工智能
于 2022-08-11 16:31:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43721000/article/details/126286690
版权
Python 同时被 2 个专栏收录
122 篇文章 26 订阅
订阅专栏
CV
27 篇文章 8 订阅
订阅专栏

文章目录

一、前言

  1. 图片增强
    提高图片泛化度，包括 旋转、翻转、拉伸、色彩抖动等处理，需要根据具体图片类型来决定，比如，我做猫狗二分类，那么旋转、拉伸、翻转、抖动都可以，但是我如果做的是比较严谨的分类比如医学相关的，那么翻转、拉伸、色彩抖动就别整了或者参数调小点
  2. 归一化与标准化
    <1>图片像素值统一除以255，归一化到 [0,1] 之间
    <2>再将归一化的结果减去0.5，除以0.5，标准化到 [-1, 1] 之间
  3. 训练数据可以进行增强和归一化，但是预测数据只进行归一化即可，训练数据增强是为了让模型适应更多不确定性的环境，但是预测的时候就不要把图片转来转去拉来拉去给自己找麻烦了（狗头），这样也能保证输出结果稳定、唯一

二、预处理与增强

1.针对训练数据

  1. 单个图片的增强与加载
from PIL import Image
from torchvision import transforms


def get_transform_for_predict():
    '''
    图片数据转换
    :return:
    '''
    return transforms.Compose([
        transforms.Resize(size=(224, 224)),                                       # 图片拉成 224*224
        transforms.RandomHorizontalFlip(p=0.3),                                   # 将三成图片水平翻转
        transforms.RandomVerticalFlip(p=0.3),                                     # 将三成图片垂直翻转
        transforms.RandomPerspective(distortion_scale=0.3, p=0.3),                # 将三成图片不规则拉伸，拉伸力度0.3
        transforms.RandomRotation(degrees=(0, 180)),                              # 图片随机旋转,0-180度
        transforms.ColorJitter(0.1, 0.1, 0.1, 0.1),                               # 图片随机抖动，四个对应的值分别是 亮度、对比度、饱和度、色调
        transforms.ToTensor(),                                                    # 1.归一化处理，所有像素值除以255，归一化到[0，1]；2.通道维度提前 HWC->CHW
        transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),          # 标准化处理，归一化后的三个通道维度上的值分别减去 mean 除以 std，将所有像素值标准化到[-1，1]
    ])


if __name__ == '__main__':

    # 加载图片
    img_path = 'dataset/train/dog/dog.0.jpg'
    img = Image.open(img_path).convert('RGB')

    # 初始化数据增强方法
    tsf = get_transform_for_predict()
    # 图片增强
    X = tsf(img)

    # # show
    # plt.imshow(X.permute(1, 2, 0).numpy())
    # plt.show()
  1. 批量增强与加载
    创建如下目录结构
datasets						# 根路径
	|
	|----train					# 训练集
		   |
		   |----cat				# 样本目录1
		   |     |
		   | 	 |----01.jpg	# 图片数据1
		   |   	 |----02.jpg	# 图片数据2
		   |   	 |----...		
		   |
		   |
		   |----dog				# 样本目录2
		   	     |
			     |----01.dog	# 图片数据1
			     |----02.dog	# 图片数据2
			     |----...

# 加载后 cat、dog...等样本目录 会依次变成 0、1... 等标签，分别对应样本目录下的图片数据

from torch.utils.data import DataLoader, random_split
from torchvision import transforms
from torchvision.datasets import ImageFolder
import matplotlib.pyplot as plt


def get_transform_for_train():
    '''
    图片数据转换
    :return:
    '''
    return transforms.Compose([
        transforms.Resize(size=(224, 224)),                                       # 图片拉成 224*224
        transforms.RandomHorizontalFlip(p=0.3),                                   # 将三成图片水平翻转
        transforms.RandomVerticalFlip(p=0.3),                                     # 将三成图片垂直翻转
        transforms.RandomPerspective(distortion_scale=0.3, p=0.3),                # 将三成图片不规则拉伸，拉伸力度0.3
        transforms.RandomRotation(degrees=(0, 180)),                              # 图片随机旋转,0-180度
        transforms.ColorJitter(0.1, 0.1, 0.1, 0.1),                               # 图片随机抖动，四个抖动因子分别是 亮度、对比度、饱和度、色调
        transforms.ToTensor(),                                                    # 1.归一化处理，所有像素值除以255，归一化到[0，1]；2.通道维度提前 HWC->CHW
        transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),          # 标准化处理，归一化后的三个通道维度上的值分别减去 mean 除以 std，将所有像素值标准化到[-1，1]
    ])

def split_data_to_train_and_valid(datasets, validation_split=0.1):
    '''
    将数据集分为训练集和验证集
    :param datasets:
    :param size:
    :return:
    '''
    train_size = int((1-validation_split) * len(datasets))                                      # 训练集size
    validation_size = len(datasets) - train_size                                                # 验证集size
    train_dataset, validation_dataset = random_split(datasets, [train_size, validation_size])   # 拆分
    return train_dataset, validation_dataset

def get_data_iter(data_path, batch_size, validation_split):
    '''
    获取训练张量
    :return:
    '''
    datasets = ImageFolder(
        root=data_path,                         # 数据集路径
        transform=get_transform_for_train()     # 图片增强
    )

    # 拆分数据集和验证集
    train_dataset, validation_dataset = split_data_to_train_and_valid(datasets, validation_split)

    # 分别加入迭代器
    train_iter = DataLoader(
        train_dataset,              # 训练集
        batch_size=batch_size,      # 批量大小
        shuffle=True,               # 是否乱序
        num_workers=4               # 加载时使用的进程并发数
    )
    validation_iter = DataLoader(
        validation_dataset,         # 训练集
        batch_size=batch_size,      # 批量大小
        shuffle=True,               # 是否乱序
        num_workers=4               # 加载时使用的进程并发数
    )

    return train_iter, validation_iter


if __name__ == '__main__':

    data_path = r'E:\数据集\猫狗数据集\kaggle_Dog&Cat\train'

    # 加载数据并拆分为训练集和验证集
    train_iter, validation_iter = get_data_iter(
        data_path=data_path,            # 数据集位置
        batch_size=64,                  # 批量大小
        validation_split=0.3            # 三成数据作为验证集
    )
	
	# 到此为止就可以送入网络训练了，下面的是打印检查数据 ------------
	
    # 打印每个batch的训练集和验证集长度
    print(len(train_iter), len(validation_iter))
    # 274 118
    # 我这里准备了25000张图片
    # 训练集每批数据量 = 25000 / 64 * (1 - 0.3) = 274
    # 验证集每批数据量 = 25000 / 64 * 0.3 = 118

    # 打开训练集的第一张图片康康
    for index, batch_data in enumerate(train_iter):
        # 打印索引、训练集尺寸、标签尺寸
        print(index, batch_data[0].shape, batch_data[1].shape)
        # 0 torch.Size([64, 3, 224, 224]) torch.Size([64])

        # 打印第一批数据的第一张图的标签和样本
        print(batch_data[0][0], batch_data[1][0])
        # 样本
        # tensor([[[-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765],
        #          [-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765],
        #          [-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765],
        #          ...,
        #          [-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765],
        #          [-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765],
        #          [-0.9765, -0.9765, -0.9765,  ..., -0.9765, -0.9765, -0.9765]]])
        # 标签
        # tensor(1)

        for data in batch_data[0]:
            data = data.permute(1, 2, 0)        # 通道维度放到最后
            plt.imshow(data.numpy())            # 转成numpy展示图片
            plt.show()
            break
        break

    # 打开验证集的第一张图片康康
    for index, batch_data in enumerate(validation_iter):
        # 打印索引、训练集尺寸、标签尺寸
        print(index, batch_data[0].shape, batch_data[1].shape)
        # 0 torch.Size([64, 3, 224, 224]) torch.Size([64])

        # 打印第一批数据的第一张图的标签和样本
        print(batch_data[0][0], batch_data[1][0])
        # 样本
        # tensor([[[-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922],
        #          [-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922],
        #          [-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922],
        #          ...,
        #          [-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922],
        #          [-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922],
        #          [-0.9922, -0.9922, -0.9922,  ..., -0.9922, -0.9922, -0.9922]]])
        # 标签
        # tensor(0)

        for data in batch_data[0]:
            data = data.permute(1, 2, 0)        # 通道维度放到最后
            plt.imshow(data.numpy())            # 转成numpy展示图片
            plt.show()
            break
        break

2.针对预测数据

from PIL import Image
from torchvision import transforms
import matplotlib.pyplot as plt
import torch


def get_transform_for_predict():
    '''
    图片数据转换
    :return:
    '''
    return transforms.Compose([
        transforms.Resize(size=(224, 224)),                                       # 图片拉成 224*224
        # transforms.RandomHorizontalFlip(p=0.3),                                   # 将三成图片水平翻转
        # transforms.RandomVerticalFlip(p=0.3),                                     # 将三成图片垂直翻转
        # transforms.RandomPerspective(distortion_scale=0.3, p=0.3),                # 将三成图片不规则拉伸，拉伸力度0.3
        # transforms.RandomRotation(degrees=(0, 180)),                              # 图片随机旋转,0-180度
        # transforms.ColorJitter(0.1, 0.1, 0.1, 0.1),                               # 图片随机抖动，四个对应的值分别是 亮度、对比度、饱和度、色调
        transforms.ToTensor(),                                                    # 1.归一化处理，所有像素值除以255，归一化到[0，1]；2.通道维度提前 HWC->CHW
        transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)),          # 标准化处理，归一化后的三个通道维度上的值分别减去 mean 除以 std，将所有像素值标准化到[-1，1]
    ])


if __name__ == '__main__':

    # 加载图片
    img_path = 'dataset/train/dog/狗砸.png'
    img = Image.open(img_path).convert('RGB')

    # 初始化数据增强方法
    tsf = get_transform_for_train()
    # 图片增强
    X = tsf(img)

    # # show
    # plt.imshow(X.permute(1, 2, 0).numpy())
    # plt.show()
什么都干的派森
关注
专栏目录
PyTorch深度学习实战（12）——数据增强
盼小辉丶的博客
08-21 2780
数据增强是指通过对原始数据进行一系列变换和处理，生成更多、更丰富的训练样本的技术方法。数据增强在机器学习和深度学习领域中被广泛应用，它可以有效地解决数据不足的问题，提高模型的泛化能力和鲁棒性。我们已经了解了卷积神经网络 (Convolutional Neural Network, CNN) 有助于解决图像平移问题，但如果平移的范围过大同样可能影响模型的性能。在本节中，我们将学习如何使用数据增强确保模型能够得到正确的预测结果，即使图像移动较大范围。
Video-Dataset-Loading-Pytorch:用于加载，预处理和增强视频数据集的通用PyTorch数据集实现
05-05
PyTorch中高效的视频数据集加载和增强 作者： 如果您发现该代码很有用，请给存储库加注星标。 如果您完全不熟悉使用torch.utils.data.Dataset和torch.utils.data.DataLoader在PyTorch中加载数据集，建议您首先通过...
pytorch：数据增广批量化(Batch Augmentation)
傲笑风的博客
11-12 1715
数据增强通常是随机批量生产的，一般使用组合形式，即同时随机裁剪、翻转、旋转等。 import torchvision.transforms as transforms from PIL import Image import matplotlib.pyplot as plt img = Image.open('cat.jpg') img.show() augment = transforms.Compose( [ transforms.Resize((150)),
方法汇总 | Pytorch实现常见数据增强（Data Augmentation）【附源码】
最新发布
阿旭的博客
08-20 1442
方法汇总 | Pytorch实现常见数据增强（Data Augmentation）【附源码】
Pytorch：数据增强
weixin_47255403的博客
12-05 1280
介绍数据的预处理模块transforms的运行机制，了解一些transforms中常用的图像预处理方法，简要了解transforms的运行机制并了解数据标准化(Normalize)的使用原理。
pytorch-数据增强
qq_35482604的博客
05-25 387
pytorch学习五 --数据增强transforms
pytorch数据增强
qq_40107571的博客
08-31 6067
pytorch数据增强，以及transforms操作
pytorch数据增强，包括image和label同时变化
热门推荐
低吟浅笑
07-18 2万+
深度学习的性能较为依赖数据增强，常见的数据增强包括：裁剪、翻转、旋转、图像变换等。 本文主要包括三个部分，一部分具体描述数据增强的常见方法和函数，二部分具体描述image和label的同样变化和简单的实现，三部分主要是针对多张图片进行同样变化，进行n倍的数据扩充。 第一部分：理论讲解 ...
关于Pytorch的MNIST数据集的预处理详解
09-18
总结来说，PyTorch中的MNIST数据集预处理涉及到数据增强、参数初始化、批量标准化、dropout以及学习率衰减等多个方面，这些步骤对于构建高效且准确的CNN模型至关重要。通过这些技术，可以有效地提升模型对MNIST数据...
pytorch数据集的预处理
11-01
PyTorch数据集的预处理可以使用torchvision.transforms工具包中的函数来完成。该工具包包含了常用的图像变换方法，可以用于图像预处理、数据增强等工作。在进行数据预处理时，可以使用Compose函数将多个预处理操作...
Python-torchsamplepytorch的数据增强和采样
08-10
torch-sample : pytorch的数据增强和采样
pytorch 目标检测数据增强 详细讲解
01-20
摘要 目标检测中的数据增强是比较复杂，每一次改变图像同时也要考虑boxes的信息，比起目标分类更加局限性，比如翻转，左右翻转一般影响不大，但上下翻转造成的影响就截然不同。下面操作坐标点全是xyxy形式 resize操作 先来看下对比，在图片大小改变的同时也要改变boxes的位置信息，第一张是原图 我截图是一样大小，可以看出框的位置依旧准确，原图是（480，364）变化后的是（300,300），对比之前的照片清晰度明显下降，所以训练照片差距太多再好的模型也难以起到很好的效果。下面是代码实现 import math import random import torch from PIL imp
pytorch 数据集图片显示方法
09-20
通过上述知识点的介绍，我们明白了PyTorch数据集图片显示方法的关键点在于数据集的载入、预处理、格式转换以及图像的显示。在进行深度学习项目时，这些步骤都是基础且重要的，可以帮助开发者更好地理解数据，并为...
PyTorch 笔记Ⅸ——数据增强
DeepHao'Blog
12-29 3217
文章目录数据增强说明导入必要的包读取图片并显示显示方式一显示方式二Pytorch 数据增强transforms 之旋转transforms 之裁剪transforms.functional 之裁剪特殊数据增强方式Augmentor导入 Augmentor 包读取图像并进行弹性形变数据增强实践导入新需要的模块定义数据增强函数开始处理效果展示 数据增强说明 1.本次将演绎常用的Pytorch数据增强方式 2.本次将简单介绍数据增强模块Augmentor的使用方式 导入必要的包 import PIL.Image
【Pytorch学习笔记】数据增强
弱就多努力的博客
01-14 6714
torchvision.transforms学习
5、PyTorch 数据增强（SSD）
Man
02-22 1704
Pytorch 包含如下模块：Componenttorchtorch.jittorch.nnAPythonDataLoader。
Pytorch数据增强合集-torchvision
kksimida的博客
08-08 345
1. 一般代码： from torchvision import transforms transforms.Compose([transforms.Resize((300,300)), #缩放到固定尺寸 transforms.CenterCrop(size=(224,224)),#中心裁剪 transforms.RandomHorizontalFlip(), #随机水平翻转 transforms.ToTensor(), #归一化处理 transforms.Norm
[PyTorch][chapter 40][数据增强]
4AM_明朝百晓生
06-13 1381
一共包含 10 个类别的 RGB 彩色图 片：飞机（ airplane ）、汽车（ automobile ）、鸟类（ bird ）、猫（ cat ）、鹿（ deer ）、狗（ dog ）、蛙类（ frog ）、马（ horse ）、船（ ship ）和卡车（ truck ）。torchvision.datasets中的数据集封装都是torch.utils.data.Dataset子类，它们都实现了__getitem__ 和 __len__方法，都可以用DataLoader进行数据加载。
Pytorch MNIST数据集预处理深度解析
"这篇教程详细介绍了在PyTorch中对MNIST数据集进行预处理的步骤，包括数据增强、参数初始化、批量标准化、Dropout策略和指数衰减学习率等技术，以提升卷积神经网络（CNN）的性能。文中提到的网络结构包含4个层次，...
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

什么都干的派森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值