PyTorch学习—7.数据预处理模块—transforms

一、数据预处理transforms模块机制

  torchvision.transforms模块包含了很多图像预处理方法:

  • 数据中心化
  • 数据标准化
  • 缩放
  • 裁剪
  • 旋转
  • 翻转
  • 填充
  • 噪声添加
  • 灰度变换
  • 线性变换
  • 仿射变换
  • 亮度、饱和度及对比度变换

这个模块可以进行数据增强与数据预处理,增强模型的泛化能力。数据预处理transforms在数据读取过程中,最后生成数据预处理完的batch data。
在这里插入图片描述

class RMBDataset(Dataset):
    def __init__(self, data_dir, transform=None):
        """
        rmb面额分类任务的Dataset
        :param data_dir: str, 数据集所在路径
        :param transform: torch.transform,数据预处理
        """
        self.label_name = {
   "1": 0, "100": 1}
        self.data_info = self.get_img_info(data_dir)  # data_info存储所有图片路径和标签,在DataLoader中通过index读取样本
        self.transform = transform

    def __getitem__(self, index):
        path_img, label = self.data_info[index]
        img = Image.open(path_img).convert('RGB')     # 0~255
		
		# 在数据读取的这个节点开始调用transform,迭代使用多种tansform方法
        if self.transform is not None:
            img = self.transform(img)   # 在这里做transform,转为tensor等等

        return img, label

    def __len__(self):
        return len(self.data_info)

    @staticmethod
    def get_img_info(data_dir):
        data_info = list()
        for root, dirs, _ in os.walk(data_dir):
            # 遍历类别
            for sub_dir in dirs:
                img_names = os.listdir(os.path.join(root, sub_dir))
                img_names = list(filter(lambda x: x.endswith('.jpg'), img_names))

                # 遍历图片
                for i in range(len(img_names)):
                    img_name = img_names[i]
                    path_img = os.path.join(root, sub_dir, img_name)
                    label = rmb_label[sub_dir]
                    data_info.append((path_img, int
  • 2
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
PyTorch中,数据预处理是准备和转换原始数据以供模型训练或推理使用的重要步骤之一。下面是一些常见的PyTorch数据预处理方法: 1. 数据加载:使用PyTorch的`torchvision.datasets`模块可以方便地加载一些常见的数据集,如MNIST、CIFAR等。此外,你也可以使用自定义的数据集类来加载你自己的数据。 2. 图像预处理:对于图像数据,通常需要进行一些预处理操作,例如: - 转换为Tensor:使用`transforms.ToTensor()`函数可以将图像转换为PyTorch中的张量。 - 归一化:使用`transforms.Normalize()`函数可以对图像进行归一化处理,使得各个通道的均值为0,标准差为1。 3. 数据增强:为了增加训练数据的多样性,可以对图像进行一些随机变换操作,例如: - 随机裁剪:使用`transforms.RandomCrop()`函数可以随机裁剪图像。 - 随机翻转:使用`transforms.RandomHorizontalFlip()`函数可以随机水平翻转图像。 - 随机旋转:使用`transforms.RandomRotation()`函数可以随机旋转图像。 4. 数据批处理:使用`torch.utils.data.DataLoader`类可以将数据划分为小批量进行训练。你可以指定批量大小、是否打乱数据等参数。 5. 自定义预处理:如果你有特定的数据预处理需求,你可以定义自己的预处理函数,并使用`transforms.Lambda()`函数将其应用于数据。 在使用这些预处理方法时,你可以将它们组合成一个预处理管道,通过`transforms.Compose()`函数将它们串联起来。例如: ```python from torchvision import transforms # 定义预处理管道 preprocess = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.5, 0.5, 0.5], std=[0.5, 0.5, 0.5]), transforms.RandomCrop(size=28), transforms.RandomHorizontalFlip(), ]) # 加载数据集并应用预处理 dataset = torchvision.datasets.MNIST(root='data/', train=True, transform=preprocess, download=True) ``` 这只是一些常见的数据预处理方法,在实际应用中,还可以根据具体问题进行更复杂的预处理操作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值