【深度学习】计算图像数据集的均值和标准差(mean、std)用于 transform 标准化(Imagefolder)

【深度学习】计算图像数据集的均值和标准差(mean、std)用于 transform 标准化

1. 介绍

相信大家对每一个图像数据集预处理时都免不了一个normalize的步骤,在使用pytorch中torchvision.transoforms.Normalize()这个方法很好的帮助我们进行标准化的处理。可是他需要图像各个通道的均值以及标准差的参数,那我们要如何求呢?

  • ImageFolder,需要有特定格式
  • 自己实现,无需特定格式

2. 方法

2.1 ImageFolder,需要有特定格式

这时候要求我们传参为父目录,下面必须得有子目录

  • 比如数据集一共包括两个类别:cat、dog,每个类别包括四张图片。所有的图片按文件夹保存,每个文件夹下存储同一个类别的图片,文件夹名为类名。保存如下,dataset下有两个目录如下:
    在这里插入图片描述
import torch
from torchvision.datasets import ImageFolder
def getStat(train_data):
    '''
    Compute mean and variance for training data
    :param train_data: 自定义类Dataset(或ImageFolder即可)
    :return: (mean, std)
    '''
    print('Compute mean and variance for training data.')
    print(len(train_data))
    train_loader = torch.utils.data.DataLoader(
        train_data, batch_size=1, shuffle=False, num_workers=0,
        pin_memory=True)
    mean = torch.zeros(3)
    std = torch.zeros(3)
    for X, _ in train_loader:
        for d in range(3):
            mean[d] += X[:, d, :, :].mean()
            std[d] += X[:, d, :, :].std()
    mean.div_(len(train_data))
    std.div_(len(train_data))
    return list(mean.numpy()), list(std.numpy())
 
if __name__ == '__main__':
    train_dataset = ImageFolder(root='dataset', transform=None)
    print(getStat(train_dataset))

2.2 自己实现,无需特定格式

直接传入想要求的数据集目录即可,

import os
from PIL import Image
import numpy as np
import tqdm

def main(path):
    # 数据集通道数
    img_channels = 3
    img_names = os.listdir(path)
    cumulative_mean = np.zeros(img_channels)
    cumulative_std = np.zeros(img_channels)

    for img_name in tqdm.tqdm(img_names, total=len(img_names)):
        img_path = os.path.join(path, img_name)
        img = np.array(Image.open(img_path)) / 255.
        # 对每个维度进行统计,Image.open打开的是HWC格式,最后一维是通道数
        for d in range(3):
            cumulative_mean[d] += img[:, :, d].mean()
            cumulative_std[d] += img[:, :, d].std()

    mean = cumulative_mean / len(img_names)
    std = cumulative_std / len(img_names)
    print(f"mean: {mean}")
    print(f"std: {std}")

if __name__ == '__main__':
    main("dataset/cat")

3. ImageFolder解析

ImageFolder是一个通用的数据加载器,数据集应当按照指定的格式进行存储。

3.1 数据集构造格式

比如数据集一共包括两个类别:cat、dog,每个类别包括四张图片。所有的图片按文件夹保存,每个文件夹下存储同一个类别的图片,文件夹名为类名。dataset下有两个目录如下:
在这里插入图片描述

3.2 使用方法

from torchvision.datasets import ImageFolder
dataset=ImageFolder(root, transform=None, target_transform=None, loader=default_loader)
3.2.1 参数
  • root:在root指定的路径下寻找图片,比如,
import torchvision.datasets
dataset = ImageFolder('./dataset')
  • transform:对PIL Image进行的转换操作,transform的输入是使用loader读取图片的返回对象,比如,
import torchvision.datasets
 
transform = transforms.Compose([  
        transforms.Grayscale(),  
        transforms.Resize([28, 28]),  
        transforms.ToTensor(),  
        transforms.Normalize(mean=(0,0,0),std=(1,1,1))
])
dataset = ImageFolder('./dataset',transform=transform)
  • target_transform:对label的转换。
3.2.2 成员变量

可以通过成员变量查看ImageFolder返回的内容。

  • classes:根据分的文件夹的名字来确定的类别,如[‘cat’, ‘dog’]。
  • class_to_idx:按顺序为这些类别定义索引为0,1…,如{‘cat’: 0, ‘dog’: 1}。
  • imgs:返回从所有文件夹中得到的图片的路径以及其类别,一个列表,列表中的每个元素都是一个(img-path, class_index)的元组,如
    • [(‘./dataset/cat/cat.12484.jpg’, 0), (‘./dataset/cat/cat.12487.jpg’, 0), (‘./dataset/dog/dog.12498.jpg’, 1), (‘./dataset/dog/dog.12499.jpg’, 1)]
3.2.3 ImageFolder返回的对象

如果不进行transform,返回PIL Image对象,进行transform,返回tensor。

  • ImageFolder的返回值,
    • 第一维代表的是第几张图片(所有类别的图片顺序排列),如dataset[0]代表第0张图片,即(‘./data/cat/cat.12484.jpg’, 0)。
    • 第二维只有0和1两个值,0返回图片数据,1返回label。
  • 6
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
以下是一个可能的PyTorch代码实现: ```python import numpy as np import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset from sklearn.preprocessing import StandardScaler # 生成一个5维随机数据集 train_data = np.random.rand(100, 5) # 定义归一化器 scaler = StandardScaler() # 计算均值标准差 scaler.fit(train_data) # 更新均值标准差 new_data = np.random.rand(20, 5) scaler.partial_fit(new_data) # 对数据集进行归一化 train_data_norm = scaler.transform(train_data) # 将归一化后的数据集还原为原来的维数 train_data_norm = torch.tensor(train_data_norm, dtype=torch.float32) train_dataset = TensorDataset(train_data_norm) train_loader = DataLoader(train_dataset, batch_size=10, shuffle=True) # 定义一个5维的全连接神经网络 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(5, 10) self.fc2 = nn.Linear(10, 1) def forward(self, x): x = self.fc1(x) x = nn.functional.relu(x) x = nn.functional.dropout(x, p=0.5) x = self.fc2(x) return x # 定义损失函数和优化器 net = Net() criterion = nn.MSELoss() optimizer = optim.SGD(net.parameters(), lr=0.01) # 训练模型 for epoch in range(10): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, torch.ones_like(outputs)) loss.backward() optimizer.step() running_loss += loss.item() print('Epoch %d loss: %.3f' % (epoch + 1, running_loss / len(train_loader))) ``` 这个代码片段首先生成了一个5维的随机训练集,然后使用`StandardScaler`定义了一个归一化器,计算了训练集的均值标准差,更新了均值标准差,对训练集进行了归一化,最后将归一化后的数据集还原为原来的维数。 然后,代码片段定义了一个5维的全连接神经网络,并使用PyTorch内置的`MSELoss`作为损失函数,使用`SGD`优化器进行优化。在训练模型时,代码片段使用`DataLoader`对归一化后的数据集进行批处理,将每个批次的数据作为模型的输入,执行前向传播、计算损失、反向传播、参数更新等操作。 最后,代码片段输出了每个epoch的损失

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋冬无暖阳°

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值