pytorch中的数据集处理部分data_transforms = { ‘train‘: transforms.Compose([...])...

AndrewPerfect

已于 2024-06-25 16:43:33 修改

阅读量701

点赞数 5

分类专栏： pytorch基础 python基础图像处理文章标签： pytorch 人工智能 python

于 2024-05-06 22:16:10 首次发布

本文链接：https://blog.csdn.net/Oxford1151/article/details/138510081

版权

python基础同时被 3 个专栏收录

48 篇文章 2 订阅

订阅专栏

图像处理

17 篇文章 0 订阅

订阅专栏

pytorch基础

10 篇文章 0 订阅

订阅专栏

`transforms.Compose`

在PyTorch的深度学习框架中，transforms.Compose 是一个非常常用的工具，它用于将多个数据转换（或称为“变换”）组合成一个单一的转换流程。这通常用于预处理输入数据，比如图像，以符合模型的训练要求。

当你看到 'train': transforms.Compose(...) 这样的代码时，这通常是在一个字典中定义数据预处理流程，其中 'train' 是键，表示这是用于训练数据的预处理流程。

例如，以下是一个常见的图像预处理流程，它使用了 transforms.Compose：

	`from torchvision import transforms`

	`# 定义训练数据预处理流程`
	`train_transforms = transforms.Compose([`
	`transforms.RandomResizedCrop(224), # 随机裁剪并调整大小到224x224`
	`transforms.RandomHorizontalFlip(), # 随机水平翻转`
	`transforms.ToTensor(), # 将PIL Image或numpy.ndarray转换为torch.Tensor，并缩放到[0.0, 1.0]`
	`transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), # 标准化`
	`])`

	`# 然后，你可以在DataLoader中使用这个预处理流程`
	`# ...`

在这个例子中，transforms.Compose 将四个单独的变换组合成一个：

RandomResizedCrop(224): 随机裁剪图像并调整其大小到224x224像素。
RandomHorizontalFlip(): 随机水平翻转图像。
ToTensor(): 将PIL Image或numpy数组转换为PyTorch张量（tensor），并缩放到[0.0, 1.0]范围。
Normalize(mean, std): 使用给定的均值和标准差对图像进行标准化。

当你使用这样的预处理流程时，你可以确保你的模型在训练时接收到经过适当预处理的数据。

这样做的操作是将所有的图片都进行裁剪翻转什么的吗？

不完全是。在PyTorch的transforms.Compose中，定义的变换序列会对每一张图片逐一应用。但是，这些变换中的某些是随机的，这意味着它们不会以相同的方式应用于每一张图片。

具体来说：

RandomResizedCrop(224): 这个变换会随机裁剪图片的一个区域，并将其大小调整为224x224像素。这意味着对于每一张图片，裁剪的区域和位置都是随机的。
RandomHorizontalFlip(): 这个变换会随机地水平翻转图片。也就是说，对于每一张图片，它都有50%的概率被翻转。
ToTensor(): 这个变换不是随机的，它总是将PIL Image或numpy数组转换为PyTorch张量，并进行缩放。
Normalize(mean, std): 这个变换也不是随机的，它使用给定的均值和标准差对图片进行标准化。

因此，当你使用transforms.Compose定义的预处理流程时，每一张图片都会经过这些变换，但其中的随机变换（如RandomResizedCrop和RandomHorizontalFlip）会导致每张图片的最终效果不同。这种随机性有助于模型在训练时看到更多样化的数据，从而提高其泛化能力。

会扩充数据？

使用transforms.Compose结合随机变换（如RandomResizedCrop和RandomHorizontalFlip）并不会直接扩充（augment）数据集的大小，但它确实会增加数据集的多样性（variability）或复杂性（complexity），从而帮助模型更好地泛化。

会将改变的数据存储到原来的文件夹吗？

不会。在PyTorch的transforms.Compose中，应用的数据变换（如裁剪、翻转等）是在数据加载到模型之前进行的，这些变换会直接影响在内存中表示的图片数据，但不会更改原始文件夹中的图片文件。这些变换是临时的，仅在当前的数据加载和训练过程中有效。每次从文件夹中加载图片时，都会重新应用这些变换，生成新的、与原始图片略有不同的版本。

因此，如果你需要保存经过变换的图片，你需要在代码中明确实现这一步骤，比如使用PIL.Image.save()方法将变换后的图片保存到指定的文件夹中。但请注意，这通常不是必要的，因为数据变换的主要目的是在训练过程中为模型提供多样化的数据视图，而不是永久地更改原始图片。

处理后的图片在进行模型训练之前是存在内存中吗？

data_transforms 是一个字典，其中键（如 'train'）对应一组数据转换的Compose，这些转换会在加载数据时按顺序应用。这些转换并不会立即将图片加载到内存中，而是在每次迭代数据加载器（DataLoader）时，对从磁盘或其他存储介质中读取的原始数据进行实时处理。