【数据的读取和处理】03 - Transforms

最新推荐文章于 2024-08-28 18:10:53 发布
最新推荐文章于 2024-08-28 18:10:53 发布
阅读量639 收藏 11
点赞数 24
分类专栏： 小土堆PyTorch 文章标签： 人工智能 深度学习
博文作者SmallBambooCode版权所有，严禁任何个人和组织转载或盗用！
本文链接：https://blog.csdn.net/qq_35516428/article/details/138072414
版权
本文详细介绍了PyTorch中的torchvision.transforms模块，涵盖了图像处理方法如裁剪、缩放、翻转、旋转、归一化以及ToTensor函数。此外，文章还讨论了Tensor数据类型和其在神经网络中的应用，以及如何构建数据预处理流水线以增强模型性能。
摘要由CSDN通过智能技术生成

03 - Transforms

概念

torchvision.transforms是PyTorch中的一个模块，是一个工具箱，用于进行图像处理和数据增强的操作。它提供了一系列的转换函数，可以方便地对图像进行预处理、增强或者转换，以满足模型训练或推理的需求。

常见的图像变换包括但不限于：

  • 裁剪（Crop）
  • 缩放（Resize）
  • 翻转（Flip）
  • 旋转（Rotation）
  • 归一化（Normalization）
  • 转换为张量（ToTensor）

这些转换可以通过组合使用来构建一个数据预处理流水线，用于准备训练集或测试集中的图像数据。通过这些转换，可以提高模型的泛化能力、抗扰动能力，并且可以在训练过程中对数据进行增广，以防止过拟合。

Tensor

在PyTorch中，tensor 是一种多维数组，类似于 NumPy 的数组，但具有额外的功能，例如在 GPU 上进行加速计算。tensor 中的数据类型表示了数组中元素的数据类型。PyTorch 提供了多种数据类型的 tensor，常见的包括：

  1. torch.float32 或 torch.float: 单精度浮点数。
  2. torch.float64 或 torch.double: 双精度浮点数。
  3. torch.float16 或 torch.half: 半精度浮点数。
  4. torch.int8, torch.int16, torch.int32, torch.int64: 带符号整数，分别占用 8 位、16 位、32 位、64 位。
  5. torch.uint8: 无符号 8 位整数。
  6. torch.bool: 布尔型。

每种数据类型都有其特定的用途和性能特征。例如，使用单精度浮点数 torch.float32 可以提高计算速度和节省内存，但可能会损失一定的精度；而使用双精度浮点数 torch.float64 可以获得更高的数值精度，但会占用更多的内存和计算资源。

img

**Tensor数据类型包装了反向神经网络理论基础需要的参数。**在神经网络中，tensor 数据类型通常用于存储模型的参数（例如权重w和偏置b），并且在训练过程中通过反向传播算法更新这些参数。这些参数包括了神经网络的理论基础，因为它们是网络学习的关键部分。 神经网络的理论基础包括网络的结构（如层的数量、类型和连接方式）、激活函数的选择、损失函数的定义等。然而，这些理论基础通常是通过调整网络参数来实现的，而这些参数正是通过 tensor 数据类型进行存储和操作的。

ToTensor()

transforms.ToTensor()是PyTorch中的一个数据转换函数，用于将PIL图像或NumPy数组转换为张量（tensor）。在深度学习中，图像通常表示为多维数组或张量，因此在将图像输入到神经网络之前，需要将其转换为张量格式。

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

# 用法示例 ->tensor
image_path = "data/train/ants_image/6240329_72c01e663e.jpg"
img = Image.open(image_path)
writer = SummaryWriter("logs")

# 函数的引用？创建自己的工具
tensor_trans = transforms.ToTensor()
tensor_img = tensor_trans(img)

writer.add_image("Tensor_img", tensor_img)
writer.close()

img

img

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("images/image1.jpg")
print(img)

trans_toTensor = transforms.ToTensor()
img_tensor = trans_toTensor(img)
writer.add_image("ToTensor", img_tensor)
writer.close()

img

Normalize()

transforms.Normalize()是PyTorch中的一个数据转换函数，用于对张量数据进行归一化操作。在深度学习中，数据的归一化通常是一个重要的预处理步骤，可以帮助提高模型的训练稳定性和收敛速度。

transforms.Normalize(mean, std)执行以下操作： 将每个通道的均值减去指定的均值（mean）。 将每个通道的标准差除以指定的标准差（std）。

这样可以将数据的分布调整为以0为中心，标准差为1的分布，使得模型更容易学习到有效的特征，并且可以减少数据间的尺度差异对模型训练的影响。

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("images/image1.jpg")
print(img)

# ToTensor
trans_toTensor = transforms.ToTensor()
img_tensor = trans_toTensor(img)
writer.add_image("ToTensor", img_tensor)

# Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize", img_norm, 1)

writer.close()

img

Resize()

transforms.Resize()是PyTorch中的一个数据转换函数，用于调整图像的大小。在深度学习中，图像的大小通常需要与模型的输入大小相匹配，以便于正确地输入到模型中进行训练或推理。

具体来说，transforms.Resize(size)执行以下操作：

将PIL图像的尺寸调整为指定的大小。保持图像的宽高比不变，根据所提供的 size 参数进行缩放或裁剪。

size 参数可以是一个整数，也可以是一个包含两个整数的元组，分别表示新图像的宽度和高度。如果提供的 size 是一个整数，则将图像的较小边缩放到这个大小，保持宽高比不变。

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("images/image1.jpg")
print(img)

# ToTensor
trans_toTensor = transforms.ToTensor()
img_tensor = trans_toTensor(img)
writer.add_image("ToTensor", img_tensor)

# Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize", img_norm, 1)

# Resize
print(img.size)
trans_resize = transforms.Resize((512,512))
# 变换后还是PIL Image
img_resize = trans_resize(img)
print(img_resize.size)
img_resize = trans_toTensor(img_resize)
writer.add_image("Resize", img_resize, 0)

writer.close()

img

img

Compose()

transforms.Compose() 是 PyTorch 中的一个数据转换函数，用于将多个数据转换操作组合成一个数据预处理流水线。在深度学习中，通常需要对输入数据进行多个预处理步骤，例如图像的缩放、裁剪、归一化等，transforms.Compose() 可以方便地将这些操作依次应用于输入数据。

具体来说，transforms.Compose(transforms) 接受一个由数据转换操作组成的列表或元组，并返回一个将这些操作依次应用于输入数据的组合转换函数。在应用组合转换函数时，将按照列表中的顺序依次应用每个转换操作。

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("images/image1.jpg")
print(img)

# ToTensor
trans_toTensor = transforms.ToTensor()
img_tensor = trans_toTensor(img)
writer.add_image("ToTensor", img_tensor)

# Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize", img_norm, 1)

# Resize
print(img.size)
trans_resize = transforms.Resize((512,512))
# 变换后还是PIL Image
img_resize = trans_resize(img)
print(img_resize.size)
img_resize = trans_toTensor(img_resize)
writer.add_image("Resize", img_resize, 0)

# Compose “封装流水线”
# 若只传入一个参数，则以最短边进行放缩
trans_resize_2 = transforms.Resize(512)
trans_compose = transforms.Compose([trans_resize_2, trans_toTensor])
img_resize_2 = trans_compose(img)
writer.add_image("Resize2", img_resize_2, 0)

writer.close()

可以将 transforms.Compose() 理解为封装了数据预处理流水线。在深度学习中，数据预处理通常需要执行多个步骤，例如缩放、裁剪、旋转、归一化等。这些步骤按照一定的顺序应用于输入数据，以便于将数据准备好用于模型的训练或推理。

RandomCrop()

transforms.RandomCrop() 是 PyTorch 中的一个数据转换函数，用于对图像进行随机裁剪操作。在深度学习中，随机裁剪是一种常见的数据增强技术，可以通过在训练过程中对图像进行随机裁剪来增加数据的多样性，从而提高模型的泛化能力。

具体来说，transforms.RandomCrop(size) 会在图像中随机选择一个矩形区域，并将其裁剪到指定的大小。裁剪的位置是随机选择的，但是裁剪的区域大小是由 size 参数指定的。

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

writer = SummaryWriter("logs")
img = Image.open("images/image1.jpg")
print(img)

# ToTensor
trans_toTensor = transforms.ToTensor()
img_tensor = trans_toTensor(img)
writer.add_image("ToTensor", img_tensor)

# Normalize
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize", img_norm, 1)

# Resize
print(img.size)
trans_resize = transforms.Resize((512,512))
# 变换后还是PIL Image
img_resize = trans_resize(img)
print(img_resize.size)
img_resize = trans_toTensor(img_resize)
writer.add_image("Resize", img_resize, 0)

# Compose “封装流水线”
trans_resize_2 = transforms.Resize(512)
trans_compose = transforms.Compose([trans_resize_2, trans_toTensor])
img_resize_2 = trans_compose(img)
writer.add_image("Resize2", img_resize_2, 1)

# RandomCrop
trans_random = transforms.RandomCrop(512)
trans_compose_2 = transforms.Compose([trans_random, trans_toTensor])
for i in range(10):
    img_random = trans_compose_2(img)
    writer.add_image("RandomCrop", img_random, i)

writer.close()

img

SmallBambooCode
关注
  • 24
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
系统学习Pytorch笔记三：Pytorch数据读取机制(DataLoader)与图像预处理模块(transforms)
Miracle8070
04-17 6万+
Pytorch官方英文文档：https://pytorch.org/docs/stable/torch.html? Pytorch中文文档：https://pytorch-cn.readthedocs.io/zh/latest/ 1. 写在前面 疫情在家的这段时间，想系统的学习一遍Pytorch基础知识，因为我发现虽然直接Pytorch实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样...
计算机视觉CV-Pytorch 数据读取与数据扩增
lw19155275856的博客
04-29 713
计算机视觉CV-Pytorch 数据读取与数据扩增
torchvision.transforms处理模块用法详解
qq_42244418的博客
04-16 5698
torchvision.transforms处理模块用法详解常用方法介绍应用实例处理单张张量图像示例处理多张张量图像示例 torchvision.transforms是pytorch中的图像预处理包（图像变换），一般用Compose把多个步骤整合到一起。可单独处理张量图像的变换，也可以接受成批的张量图像。 常用方法介绍 transforms包中可实现图像的各种变换，如图像形状、颜色处理，还可进行模糊、曝光、类型转换等操作。 常用方法（示例），更多方法见pytorch官方文档： Method Para
pytorch中的transforms.resize（）函数
AndrewPerfect的博客
05-08 1762
调整图像的大小一个整数或一个元组。
Transforms
程序人生
09-03 2085
Transforms The Quartz 2D drawing model defines two completely separate coordinate spaces: user space, which represents the document page, and device space, which represents the native resolution of
Transform
qq_37217876的博客
01-02 193
Transform 顺序序列数据常用RNN进行训练，但是RNN又难以平行化，故催生出Attention机制的Transform 如图通过Self-Attention Layer可以平行化处理得到bi其中bi包含了整个序列的按权压缩的信息 该概念最早出现在google的一篇paper中【Attention is all you need】 首先我们将输入乘上一个matrix得到我们想要唯独的ai 之后分别乘以wq，wk，wv得到qi，ki，vi 其中qi可以看作询问，而ki则是被询问者详细可见如下图 d是
transforms.zip
08-09
`num_workers`指定用于数据加载的子进程数量，可以提高数据读取速度。 `transforms`与`Dataset`和`DataLoader`紧密关联。在创建`Dataset`实例时，我们通常会定义一系列`transforms`操作，然后在加载每个样本时应用...
数据预处理transforms
青灵_Yaffa的博客
02-24 683
1、数据读取机制DataLoader和DataSet2、数据预处理Transforms模块机制3、22种transforms数据预处理方法4、学会自定义transforms方法1、数据读取机制DataLoader和DataSet2、数据预处理Transforms模块机制3、22种transforms数据预处理方法4、学会自定义transforms方法show4.1. 采用步进(Step into)的调试方法从 for i, data in enumerate(train_loader) 这一行代码开始，进
PyTorch学习—7.数据预处理模块—transforms
柳杰的博客
07-16 1296
文章目录一、数据预处理transforms模块机制二、二十二种transforms数据预处理方法1.数据标准化2.裁剪 一、数据预处理transforms模块机制   torchvision.transforms模块包含了很多图像预处理方法： 数据中心化 数据标准化 缩放 裁剪 旋转 翻转 填充 噪声添加 灰度变换 线性变换 仿射变换 亮度、饱和度及对比度变换 这个模块可以进行数据增强与数据预处理，增强模型的泛化能力。数据预处理transforms在数据读取过程中，最后生成数据预处理完的batch da
【小迪安全笔记V2022】信息打6~8
2202_75354817的博客
08-25 2339
小迪安全学习笔记
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 6284
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
透明性和解释性AI：概念与应用
weixin_49007164的博客
08-25 1896
透明性AI指的是AI系统的操作过程、决策机制、数据流动和模型行为是可理解和可追踪的。换句话说，透明性AI使得人们可以清楚地看到AI系统是如何做出决策的，这一过程包括输入数据的处理方式、模型的内部计算过程、以及最终决策的产生机制。解释性AI是指AI系统不仅能够给出决策结果，还能够提供关于该决策如何产生的解释。解释性AI的目标是帮助用户理解AI的行为，尤其是当AI的决策与预期不符时，提供合理的解释来消除用户的疑虑。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 5635
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
【自由能文章系列（简单难度）】【开篇论文】自由能原理在多个领域的统一视角
神经美学_茂森的博客
08-27 863
自由能原理作为一个统一的理论框架，成功地将多个看似不相关的领域（如神经科学、物理学、经济学、信息论、控制论、认知科学和生物学进化）联系在一起。通过自由能原理，我们可以更深刻地理解不同系统如何在给定条件下实现最优行为或状态。#自由能原理 #跨领域统一框架 #优化逻辑 #参数调节 #贝叶斯大脑 #预测编码 #最优控制 #注意力机制 #自然选择 #机器学习。：自由能原理、跨领域统一框架、优化逻辑、参数调节、贝叶斯大脑、预测编码、最优控制、注意力机制、自然选择、机器学习。
论大模型在金融行业的应用场景
m0_53773302的博客
08-25 1083
需要指出的是，虽然上面这些场景都是大家能够最先想到的，但真正要做的很好，也不是那么容易，必须结合优质的技术架构与工具设计，模型优化，数据准备与处理，以及反复的尝试与试错，同时也不可避免的需要对所在行业与场景知识的专业性通过实操深入理解。但如果想到达到90%以上的准确率，那就必须结合专业细致的行业数据、话术抽象、切分，上下文学习/RAG使用，知识图谱的构造，人类反馈的常态化，模型的选择，模型微调中参数调优、数据质量与混合比例的调优、减少遗忘的策略设计，甚至模型结构的创新改造设计等手段综合起来，才可以达到。
python实现循环神经网络
weixin_45570158的博客
08-25 174
为了提供一个基础的循环神经网络（RNN）示例，我们可以使用TensorFlow和Keras，这是构建和训练神经网络常用的两个库。以下是一个简单的RNN实现，用于处理序列数据（如时间序列数据或文本数据）。在这个例子中，我们将使用一个简化的任务：模拟字符级别的文本生成。
均值漂移算法原理及Python实践
u013571432的博客
08-25 1158
均值漂移算法（Mean Shift Algorithm）是一种基于密度的非参数聚类算法，其原理主要基于核密度估计和梯度上升方法。
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
最新发布
qq_50465499的博客
08-28 496
MobileStyleGAN:一种用于高保真图像合成的轻量级卷积神经网络
transforms.compose()函数的使用和数据集的读取的pytorch代码
03-31
transforms.compose()函数可以将多个数据增强...transforms.RandomCrop()函数实现随机裁剪，transforms.ToTensor()函数实现将PIL Image对象转换为Tensor对象，transforms.Normalize()函数实现对图像进行标准化处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值