pytorch图片数据归一化,通常传入transforms.Normalize(mean,std,inplace=False)中的mean和std是如何获取的?

pytorch做标准化利用transforms.Normalize(mean_vals, std_vals),其中常用数据集的均值方差有:

if 'coco' in args.dataset:
    mean_vals = [0.471, 0.448, 0.408]
    std_vals = [0.234, 0.239, 0.242]
elif 'imagenet' in args.dataset:
    mean_vals = [0.485, 0.456, 0.406]
    std_vals = [0.229, 0.224, 0.225]

那么自定义的数据集如何获取mean和std呢?

这里以imagenet为例介绍:

前面的(0.485,0.456,0.406)表示均值,分别对应的是RGB三个通道;后面的(0.229,0.224,0.225)则表示的是标准差,分别对应的是RGB三个通道

这上面的均值和标准差的值是ImageNet数据集计算出来的,所以很多人都使用它们,那么如何统计呢?统计所有图片的均值和方差,求出的一个均值得到,下面直接上代码,大家观察一下即可:

def get_mean_std(self, type, mean_std_path):
        """
        计算数据集的均值和标准差
        :param type: 使用的是那个数据集的数据,有'train', 'test', 'testing'
        :param mean_std_path: 计算出来的均值和标准差存储的文件
        :return: 
        """
        # 这里的self.dataset[type]是数据集索引列表,使用的是pytorch,也可以修改直接读取路径即可,然后遍历
        num_imgs = len(self.dataset[type])
        for data in self.dataset[type]:
            img = data[0]
            for i in range(3):
                # 一个通道的均值和标准差
                self.means[i] += img[i, :, :].mean()
                self.stdevs[i] += img[i, :, :].std()


        self.means = np.asarray(self.means) / num_imgs
        self.stdevs = np.asarray(self.stdevs) / num_imgs

        print("{} : normMean = {}".format(type, self.means))
        print("{} : normstdevs = {}".format(type, self.stdevs))
        
        # 将得到的均值和标准差写到文件中,之后就能够从中读取
        with open(mean_std_path, 'wb') as f:
            pickle.dump(self.means, f)
            pickle.dump(self.stdevs, f)
            print('pickle done')

 

好的,以下是一个使用PyTorch对CIFAR-10数据集进行处理、绘图并导出模型的示例: ```python import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt # 定义一些数据处理的transform transform_train = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) transform_test = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 加载CIFAR-10数据集 trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform_train) trainloader = torch.utils.data.DataLoader(trainset, batch_size=128, shuffle=True, num_workers=2) testset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transform_test) testloader = torch.utils.data.DataLoader(testset, batch_size=100, shuffle=False, num_workers=2) # 定义类别标签 classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck') # 显示一些训练图片 def imshow(img): img = img / 2 + 0.5 # 反归一化 npimg = img.numpy() plt.imshow(np.transpose(npimg, (1, 2, 0))) plt.show() dataiter = iter(trainloader) images, labels = dataiter.next() imshow(torchvision.utils.make_grid(images)) # 定义一个CNN模型 class Net(torch.nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = torch.nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1) self.bn1 = torch.nn.BatchNorm2d(64) self.relu1 = torch.nn.ReLU(inplace=True) self.conv2 = torch.nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1) self.bn2 = torch.nn.BatchNorm2d(128) self.relu2 = torch.nn.ReLU(inplace=True) self.conv3 = torch.nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1) self.bn3 = torch.nn.BatchNorm2d(256) self.relu3 = torch.nn.ReLU(inplace=True) self.pool = torch.nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = torch.nn.Linear(256 * 8 * 8, 512) self.relu4 = torch.nn.ReLU(inplace=True) self.fc2 = torch.nn.Linear(512, 10) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.relu1(x) x = self.conv2(x) x = self.bn2(x) x = self.relu2(x) x = self.conv3(x) x = self.bn3(x) x = self.relu3(x) x = self.pool(x) x = x.view(-1, 256 * 8 * 8) x = self.fc1(x) x = self.relu4(x) x = self.fc2(x) return x # 定义损失函数优化器 criterion = torch.nn.CrossEntropyLoss() optimizer = torch.optim.SGD(net.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) # 训练模型 net = Net() for epoch in range(100): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print('[%d] loss: %.3f' % (epoch + 1, running_loss / len(trainloader))) # 保存模型 torch.save(net.state_dict(), 'cifar_net.pth') ``` 这个示例中,我们首先定义了一些数据处理的transform,然后使用`torchvision.datasets.CIFAR10`加载CIFAR-10数据集,并使用`torch.utils.data.DataLoader`生成数据迭代器。接着,我们定义了一个简单的CNN模型,并使用交叉熵损失函数随机梯度下降优化器进行训练。最后,我们保存了训练好的模型。在代码中,我们还显示了一些训练图片,并使用了一个名为`imshow`的函数来实现图片的展示。这个示例中的一些处理步骤包括数据增强、归一化、批量处理等,这些都是为了提高模型的训练效果。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值