[数据预处理]2.使用torchvision中的transforms

最新推荐文章于 2023-03-27 20:37:01 发布
最新推荐文章于 2023-03-27 20:37:01 发布
阅读量552 收藏
点赞数 1
分类专栏： 数数据预处理 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45745378/article/details/114195267
版权

使用torchvision中的transforms

一、数据预处理，在dataset中进行处理，使用提供的包

img_transform = transforms.Compose([
    transforms.Resize(100),  # 将图像的短边resize到100
    transforms.RandomHorizontalFlip(),  # 随机翻转
    transforms.RandomCrop(100, padding=6),  # 随机裁剪
    transforms.ToTensor(),  # CHW 0-1
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 对于图像这个是有经验值的
])

二、自己定义

这个是看到其他代码的写法（也可以参照pytorch官方源码）

class RescaleT(object):

    def __init__(self, output_size):
        assert isinstance(output_size, (int, tuple))
        self.output_size = output_size

    def __call__(self, sample):
        imidx, image, label = sample['imidx'], sample['image'], sample['label']

        h, w = image.shape[:2]

        if isinstance(self.output_size, int):
            if h > w:
                new_h, new_w = self.output_size * h / w, self.output_size
            else:
                new_h, new_w = self.output_size, self.output_size * w / h
        else:
            new_h, new_w = self.output_size

        new_h, new_w = int(new_h), int(new_w)

        # #resize the image to new_h x new_w and convert image from range [0,255] to [0,1]
        # img = transform.resize(image,(new_h,new_w),mode='constant')
        # lbl = transform.resize(label,(new_h,new_w),mode='constant', order=0, preserve_range=True)

        img = transform.resize(image, (self.output_size, self.output_size), mode='constant')
        lbl = transform.resize(label, (self.output_size, self.output_size), mode='constant', order=0,
                               preserve_range=True)

        return {'imidx': imidx, 'image': img, 'label': lbl}

class Rescale(object):

    def __init__(self, output_size):
        assert isinstance(output_size, (int, tuple))
        self.output_size = output_size

    def __call__(self, sample):
        imidx, image, label = sample['imidx'], sample['image'], sample['label']

        if random.random() >= 0.5:
            image = image[::-1]
            label = label[::-1]

        h, w = image.shape[:2]

        if isinstance(self.output_size, int):
            if h > w:
                new_h, new_w = self.output_size * h / w, self.output_size
            else:
                new_h, new_w = self.output_size, self.output_size * w / h
        else:
            new_h, new_w = self.output_size

        new_h, new_w = int(new_h), int(new_w)

        # #resize the image to new_h x new_w and convert image from range [0,255] to [0,1]
        img = transform.resize(image, (new_h, new_w), mode='constant')
        lbl = transform.resize(label, (new_h, new_w), mode='constant', order=0, preserve_range=True)

        return {'imidx': imidx, 'image': img, 'label': lbl}

class RandomCrop(object):

    def __init__(self, output_size):
        assert isinstance(output_size, (int, tuple))
        if isinstance(output_size, int):
            self.output_size = (output_size, output_size)
        else:
            assert len(output_size) == 2
            self.output_size = output_size

    def __call__(self, sample):
        imidx, image, label = sample['imidx'], sample['image'], sample['label']

        if random.random() >= 0.5:
            image = image[::-1]
            label = label[::-1]

        h, w = image.shape[:2]
        new_h, new_w = self.output_size

        top = np.random.randint(0, h - new_h)
        left = np.random.randint(0, w - new_w)

        image = image[top: top + new_h, left: left + new_w]
        label = label[top: top + new_h, left: left + new_w]

        return {'imidx': imidx, 'image': image, 'label': label}

class ToTensor(object):
    """Convert ndarrays in sample to Tensors."""

    def __call__(self, sample):

        imidx, image, label = sample['imidx'], sample['image'], sample['label']

        tmpImg = np.zeros((image.shape[0], image.shape[1], 3))
        tmpLbl = np.zeros(label.shape)

        image = image / np.max(image)
        if (np.max(label) < 1e-6):
            label = label
        else:
            label = label / np.max(label)

        if image.shape[2] == 1:
            tmpImg[:, :, 0] = (image[:, :, 0] - 0.485) / 0.229
            tmpImg[:, :, 1] = (image[:, :, 0] - 0.485) / 0.229
            tmpImg[:, :, 2] = (image[:, :, 0] - 0.485) / 0.229
        else:
            tmpImg[:, :, 0] = (image[:, :, 0] - 0.485) / 0.229
            tmpImg[:, :, 1] = (image[:, :, 1] - 0.456) / 0.224
            tmpImg[:, :, 2] = (image[:, :, 2] - 0.406) / 0.225

        tmpLbl[:, :, 0] = label[:, :, 0]

        # change the r,g,b to b,r,g from [0,255] to [0,1]
        # transforms.Normalize(mean = (0.485, 0.456, 0.406), std = (0.229, 0.224, 0.225))
        tmpImg = tmpImg.transpose((2, 0, 1))
        tmpLbl = label.transpose((2, 0, 1))

        return {'imidx': torch.from_numpy(imidx), 'image': torch.from_numpy(tmpImg), 'label': torch.from_numpy(tmpLbl)}

class ToTensorLab(object):
    """Convert ndarrays in sample to Tensors."""

    def __init__(self, flag=0):
        self.flag = flag

    def __call__(self, sample):

        imidx, image, label = sample['imidx'], sample['image'], sample['label']

        tmpLbl = np.zeros(label.shape)

        if (np.max(label) < 1e-6):
            label = label
        else:
            label = label / np.max(label)

        # change the color space
        if self.flag == 2:  # with rgb and Lab colors
            tmpImg = np.zeros((image.shape[0], image.shape[1], 6))
            tmpImgt = np.zeros((image.shape[0], image.shape[1], 3))
            if image.shape[2] == 1:
                tmpImgt[:, :, 0] = image[:, :, 0]
                tmpImgt[:, :, 1] = image[:, :, 0]
                tmpImgt[:, :, 2] = image[:, :, 0]
            else:
                tmpImgt = image
            tmpImgtl = color.rgb2lab(tmpImgt)

            # nomalize image to range [0,1]
            tmpImg[:, :, 0] = (tmpImgt[:, :, 0] - np.min(tmpImgt[:, :, 0])) / (
                        np.max(tmpImgt[:, :, 0]) - np.min(tmpImgt[:, :, 0]))
            tmpImg[:, :, 1] = (tmpImgt[:, :, 1] - np.min(tmpImgt[:, :, 1])) / (
                        np.max(tmpImgt[:, :, 1]) - np.min(tmpImgt[:, :, 1]))
            tmpImg[:, :, 2] = (tmpImgt[:, :, 2] - np.min(tmpImgt[:, :, 2])) / (
                        np.max(tmpImgt[:, :, 2]) - np.min(tmpImgt[:, :, 2]))
            tmpImg[:, :, 3] = (tmpImgtl[:, :, 0] - np.min(tmpImgtl[:, :, 0])) / (
                        np.max(tmpImgtl[:, :, 0]) - np.min(tmpImgtl[:, :, 0]))
            tmpImg[:, :, 4] = (tmpImgtl[:, :, 1] - np.min(tmpImgtl[:, :, 1])) / (
                        np.max(tmpImgtl[:, :, 1]) - np.min(tmpImgtl[:, :, 1]))
            tmpImg[:, :, 5] = (tmpImgtl[:, :, 2] - np.min(tmpImgtl[:, :, 2])) / (
                        np.max(tmpImgtl[:, :, 2]) - np.min(tmpImgtl[:, :, 2]))

            # tmpImg = tmpImg/(np.max(tmpImg)-np.min(tmpImg))

            tmpImg[:, :, 0] = (tmpImg[:, :, 0] - np.mean(tmpImg[:, :, 0])) / np.std(tmpImg[:, :, 0])
            tmpImg[:, :, 1] = (tmpImg[:, :, 1] - np.mean(tmpImg[:, :, 1])) / np.std(tmpImg[:, :, 1])
            tmpImg[:, :, 2] = (tmpImg[:, :, 2] - np.mean(tmpImg[:, :, 2])) / np.std(tmpImg[:, :, 2])
            tmpImg[:, :, 3] = (tmpImg[:, :, 3] - np.mean(tmpImg[:, :, 3])) / np.std(tmpImg[:, :, 3])
            tmpImg[:, :, 4] = (tmpImg[:, :, 4] - np.mean(tmpImg[:, :, 4])) / np.std(tmpImg[:, :, 4])
            tmpImg[:, :, 5] = (tmpImg[:, :, 5] - np.mean(tmpImg[:, :, 5])) / np.std(tmpImg[:, :, 5])

        elif self.flag == 1:  # with Lab color
            tmpImg = np.zeros((image.shape[0], image.shape[1], 3))

            if image.shape[2] == 1:
                tmpImg[:, :, 0] = image[:, :, 0]
                tmpImg[:, :, 1] = image[:, :, 0]
                tmpImg[:, :, 2] = image[:, :, 0]
            else:
                tmpImg = image

            tmpImg = color.rgb2lab(tmpImg)

            # tmpImg = tmpImg/(np.max(tmpImg)-np.min(tmpImg))

            tmpImg[:, :, 0] = (tmpImg[:, :, 0] - np.min(tmpImg[:, :, 0])) / (
                        np.max(tmpImg[:, :, 0]) - np.min(tmpImg[:, :, 0]))
            tmpImg[:, :, 1] = (tmpImg[:, :, 1] - np.min(tmpImg[:, :, 1])) / (
                        np.max(tmpImg[:, :, 1]) - np.min(tmpImg[:, :, 1]))
            tmpImg[:, :, 2] = (tmpImg[:, :, 2] - np.min(tmpImg[:, :, 2])) / (
                        np.max(tmpImg[:, :, 2]) - np.min(tmpImg[:, :, 2]))

            tmpImg[:, :, 0] = (tmpImg[:, :, 0] - np.mean(tmpImg[:, :, 0])) / np.std(tmpImg[:, :, 0])
            tmpImg[:, :, 1] = (tmpImg[:, :, 1] - np.mean(tmpImg[:, :, 1])) / np.std(tmpImg[:, :, 1])
            tmpImg[:, :, 2] = (tmpImg[:, :, 2] - np.mean(tmpImg[:, :, 2])) / np.std(tmpImg[:, :, 2])

        else:  # with rgb color
            tmpImg = np.zeros((image.shape[0], image.shape[1], 3))
            image = image / np.max(image)
            if image.shape[2] == 1:
                tmpImg[:, :, 0] = (image[:, :, 0] - 0.485) / 0.229
                tmpImg[:, :, 1] = (image[:, :, 0] - 0.485) / 0.229
                tmpImg[:, :, 2] = (image[:, :, 0] - 0.485) / 0.229
            else:
                tmpImg[:, :, 0] = (image[:, :, 0] - 0.485) / 0.229
                tmpImg[:, :, 1] = (image[:, :, 1] - 0.456) / 0.224
                tmpImg[:, :, 2] = (image[:, :, 2] - 0.406) / 0.225

        tmpLbl[:, :, 0] = label[:, :, 0]

        # change the r,g,b to b,r,g from [0,255] to [0,1]
        # transforms.Normalize(mean = (0.485, 0.456, 0.406), std = (0.229, 0.224, 0.225))
        tmpImg = tmpImg.transpose((2, 0, 1))
        tmpLbl = label.transpose((2, 0, 1))

        return {'imidx': torch.from_numpy(imidx), 'image': torch.from_numpy(tmpImg), 'label': torch.from_numpy(tmpLbl)}

三、使用自定义

transform=transforms.Compose([RescaleT(320),
         					  RandomCrop(288), 
         					  ToTensorLab(flag=0)])
呼啦圈正在输入中...
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
img-transform:在客户端调整大小和裁剪上传的图像文件
05-01
在客户端上调整大小和裁剪上传的图像。 安装 $ npm install img-transform 用法 img变形 imgTransform ( uploadInput . files [ 0 ] , 'image/jpeg' ) . done ( function ( dataUrl ) { // your code here } ) ; imgTransform是主要函数，如果单独调用它，则不执行任何操作。 论点 file ：输入文件对象或dataurl字符串（包括或不包括meta “ data：image / jpeg; base64”） 。 type ：导出的mimeType默认为输入文件mime类型或dataurl meta mime类型（如果找到），否则“ image / jpeg”为默认mime类型。 调整大小 imgTransform ( upload
Pytorch的transform图像处理模块
weixin_43213607的博客
05-03 742
一.数据增强的概念（5年高考三年模拟） 二、数据的格式： PIL的Image格式， ndarray格式 张量格式 二.数据增强的方法 1.归一化标准化，均值，方差 Nomalize用的是pytorch中F模块的nomalize 2.裁剪crop CenterCrop RandomCrop FiveCrop TenCrop 3.翻转、旋转 RandomHorizantalFlip RandomVer...
Pytorch学习记录（2）Transforms的使用
GAKKI_Husband的博客
03-02 338
粗浅地理解，transforms.py可以看作一个工具箱，我们将图片作为输入，放入Transforms这个工具中，并将图像转换为其他类型的输出，以用于深度学习的工作。首先引入torchvision库中的transforms类：通过PIL库中的image类，调用image.open()函数，对于文件进行读入：可以观察到，通过open()函数读入的文件类型为JpegImageFile类型，模式是RGB，并且大小为3648*2736。
python-pillow库PIL.Image.transform()方法详解
weixin_34268579的博客
01-10 7289
为什么80%的码农都做不了架构师？>>> ...
img图片拖拽平移（position和transform）：图片从位置A拖动到位置B，跟随鼠标移动，且解决拖拽过程中出现小的缩略图和黑色禁止符号的问题（通用，笔者以react为例）
sxww_zyt的博客
03-23 1180
目标 1，position:absolute实现一个可以拖拽的图片，从位置A拖动到位置B 2，translate3d实现一个可以拖拽的图片，跟着鼠标移动，释放鼠标后图片回到初始位置
transforms.Compose,transforms.ToTensor(),transforms.Normalize()的含义与原理
qq_41795143的博客
02-09 1万+
transforms.Compose,transforms.ToTensor(),transforms.Normalize()的含义与原理 1.问题描述 问题来源于pytorch神经网络的示例代码： transform = transforms.Compose( [transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) 作用主要是读取CIFAR10数
基于tf2的dl编程学习(零)
shiningsword的博客
11-08 473
基于tf2的dl编程学习(零) 在建立模型之前，首先需要对数据进行分析。以往的工作就是忽略了数据分析与数据处理的重要性，从而限制了模型性能的上限，后期再发现导致前期的很多工作白做了。 pandas Pandas的主要数据结构是Series（一维数据）和DataFrame（二维数据），缺失数据表示为NaN 数据结构 Series 用于表示Pandas中的一维数据，常见于DataFrame中的一列。Series是带标签的一维数组，因此同时带有数组与字典的特性。可通过pd.Series生成一个Series，dat
OpenCV中的几种图像变换操作
max_LLL的博客
08-11 1340
OpenCV中的几种图像变换操作 1.图像的缩放 import numpy as np import matplotlib.pyplot as plt import cv2 as cv plt.rcParams[‘font.sans-serif’] = [‘SimHei’] #用来正确显示中文 #图像的缩放 ‘’’ 缩放是对图像的大小进行调整,即图像的放大或者缩小 API: cv.resize(src,dsize,fx=0,fy=0,interpolation=cv.INTER_LINEAR) 参数: sr
pytorch中利用图像处理库transform将图像经过变换转换成张量，并可视化处理后的图像
weixin_45798949的博客
07-14 1125
# -*- coding: utf-8 -*- # ----------------------------------------------------- # Time : 2021/7/14 上午8:39 # Auth : Written by zuofengyuan # File : transform_.py # Copyright (c) Shenyang Pedlin Technolofy Co., Ltd. # -------------------------------------
Pytoch之torchvision.transforms图像变换实例
09-18
在PyTorch中，`torchvision.transforms`是一个非常重要的模块，它提供了许多处理图像的转换方法，用于数据预处理和增强。这些变换对于训练深度学习模型尤其关键，因为它们能够帮助模型更好地泛化，提高其在未知数据...
myImgTransform.m
10-10
此资源为自定义matlab 工具函数，通过给定的平移、缩放、三维旋转 向量 。可对图像进行平移变换、缩放变换、和三位旋转变换。
Pytorch 数据加载与数据预处理方式
09-18
总的来说，PyTorch的数据加载和预处理流程涉及数据集的组织、自定义数据集的创建、使用`DataLoader`进行批量加载，以及使用`transforms`进行数据预处理。理解并熟练掌握这些概念和技巧，能够帮助开发者更高效地构建...
pytorch数据预处理错误的解决
09-17
在PyTorch中，数据预处理是一个至关重要的步骤，它涉及到将原始数据转换为模型可以理解和处理的形式。本文将深入探讨在处理PyTorch数据预处理时遇到的一个常见错误，并提供解决方案。 错误背景： 在训练神经网络...
pytorch中的transforms模块实例详解
09-18
2. `transforms.RandomHorizontalFlip()`: 这个变换有50%的概率对图像进行水平翻转，进一步增加数据集的多样性，防止模型过度拟合。 3. `transforms.ToTensor()`: 这是转换的关键步骤，它将PIL格式的图像转换为...
pytorch中的自定义数据处理详解
09-18
本文将深入探讨如何在PyTorch中创建自定义的数据处理类，以及如何利用`torchvision.transforms`模块优化数据处理流程。 首先，PyTorch中的数据存储通常基于`Dataset`类，我们需要继承`data.Dataset`并实现两个关键...
Opencv获取图片像素点并打印输出
m0_46386334的博客
08-03 2343
按下esc键退出 import cv2 import numpy as np img=cv2.imread('2.png') a = [] b = [] def on_EVENT_LBUTTONDOWN(event, x, y, flags, param): if event == cv2.EVENT_LBUTTONDOWN: xy = "%d,%d" % (x, y) a.append(x) b.append(y) cv2.circl
【pytorch】torchvision.transforms 图像的变换详解；图像的预处理；数据增强
热门推荐
学渣的博客
09-20 2万+
torchvision.transforms是包含一系列常用图像变换方法的包，可用于图像预处理、数据增强等工作，但是注意它更适合于classification等对数据增强后无需改变图像的label的情况，对于Segmentation等对图像增强时需要同步改变label的情况可能不太实用，需要自己重新封装一下。
数据预处理torchvision.transforms整理
T-SW的博客
03-27 1158
如题
PyTorch源码解析--torchvision.transforms（数据预处理、数据增强）
对角巷
01-04 1万+
PyTorch框架中有一个很常用的包：torchvision torchvision主要由3个子包构成：torchvision.datasets、torchvision.models、torchvision.transforms 详细内容可参考：http://pytorch.org/docs/master/torchvision/index.html GitHub：https://github.c...
torchvision.transforms.functional和 torchvision.transforms
最新发布
11-12
`torchvision.transforms`和`torchvision.transforms.functional`都是PyTorch中用于图像预处理的模块。其中，`torchvision.transforms`提供了一系列类来进行图像预处理，例如`Resize`、`RandomCrop`、`ToTensor`等，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值