SSIMLoss的用法(CoRRN)

结构相似性指数(SSIM)用于度量两幅图像间的结构相似性。
通过亮度、对比度、结构来测量两个图像之间的相似性。
SSIM值越大,图像越相似,当两幅图像完全相同时,SSIM=1。所以作为损失函数时,应该要取负号,例如: loss = 1 - SSIM 。

参考

来自CoRRN中的SSIMLoss代码详解:

import torch
import torch.nn.functional as F
from torch.autograd import Variable
import numpy as np
from math import exp

# 计算一维的高斯分布向量
def gaussian(window_size, sigma):
    gauss = torch.Tensor([exp(-(x - window_size/2)**2/float(2*sigma**2)) for x in range(window_size)])
    return gauss/gauss.sum()

# 创建高斯核,通过两个一维高斯分布向量进行矩阵乘法得到
def create_window(window_size, channel):
    _1D_window = gaussian(window_size, 1.5).unsqueeze(1)
    _2D_window = _1D_window.mm(_1D_window.t()).float().unsqueeze(0).unsqueeze(0)
    window = Variable(_2D_window.expand(channel, 1, window_size, window_size).cuda())
    return window

# 计算SSIM
# 直接使用SSIM的公式,但是在计算均值时,不是直接求像素平均值,而是采用归一化的高斯核卷积来代替。
# 在计算方差和协方差时用到了公式Var(X)=E[X^2]-E[X]^2, cov(X,Y)=E[XY]-E[X]E[Y].
# 正如前面提到的,上面求期望的操作采用高斯核卷积代替
def _ssim(img1, img2, window, window_size, channel, size_average = True):
    mu1 = F.conv2d(img1, window, padding = window_size/2, groups = channel)
    mu2 = F.conv2d(img2, window, padding = window_size/2, groups = channel)

    mu1_sq = mu1.pow(2)
    mu2_sq = mu2.pow(2)
    mu1_mu2 = mu1*mu2

    sigma1_sq = F.conv2d(img1*img1, window, padding = window_size/2, groups = channel) - mu1_sq #Var(X)=E[X^2]-E[X]^2
    sigma2_sq = F.conv2d(img2*img2, window, padding = window_size/2, groups = channel) - mu2_sq
    sigma12 = F.conv2d(img1*img2, window, padding = window_size/2, groups = channel) - mu1_mu2  #cov(X,Y)=E[XY]-E[X]E[Y]

    C1 = 0.01**2
    C2 = 0.03**2

    ssim_map = ((2*mu1_mu2 + C1)*(2*sigma12 + C2))/((mu1_sq + mu2_sq + C1)*(sigma1_sq + sigma2_sq + C2))

    if size_average:
        return ssim_map.mean()
    else:
        return ssim_map.mean(1).mean(1).mean(1)
#类重用窗口
class SSIMLoss(torch.nn.Module):
    def __init__(self, window_size = 11, size_average = True):
        super(SSIMLoss, self).__init__()  #对继承自父类的属性进行初始化。而且是用父类的初始化方法来初始化继承的属性。
        self.window_size = window_size
        self.size_average = size_average
        self.channel = 1
        self.window = create_window(window_size, self.channel)

    def forward(self, img1, img2):
        (_, channel, _, _) = img1.size()

        if channel == self.channel:
            window = self.window
        else:
            window = create_window(self.window_size, channel)
            self.window = window
            self.channel = channel

        return 1 - _ssim(img1, img2, window, self.window_size, channel, self.size_average)

def ssim(img1, img2, window_size = 11, size_average = True):
    (_, channel, _, _) = img1.size()
    window = create_window(window_size, channel)
    return _ssim(img1, img2, window, window_size, channel, size_average)
  • 1
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,下面是一个使用 SSIM 作为损失函数的 PyTorch 例子: 假设我们要训练一个图像超分辨率的模型,输入为一张低分辨率的图像,输出为一张高分辨率的图像。我们可以将 SSIM 作为模型的损失函数,以最小化生成图像与目标图像之间的结构相似性差异。 具体实现步骤如下: 1. 定义模型的结构,包括输入层、输出层和中间层。其中,中间层可以是卷积层、池化层、全连接层等。 ```python import torch.nn as nn class SRModel(nn.Module): def __init__(self): super(SRModel, self).__init__() self.conv1 = nn.Conv2d(3, 64, 3, padding=1) self.conv2 = nn.Conv2d(64, 64, 3, padding=1) self.conv3 = nn.Conv2d(64, 3, 3, padding=1) def forward(self, x): x = nn.functional.relu(self.conv1(x)) x = nn.functional.relu(self.conv2(x)) x = self.conv3(x) return x ``` 2. 定义 SSIM 损失函数。可以通过 PyTorch 提供的 `torchvision` 库中的 `SSIM` 类来定义 SSIM 损失函数。 ```python import torch.nn.functional as F from torchvision.transforms.functional import rgb_to_grayscale class SSIMLoss(nn.Module): def __init__(self): super(SSIMLoss, self).__init__() self.ssim = SSIM() def forward(self, y_true, y_pred): gray_true = rgb_to_grayscale(y_true) gray_pred = rgb_to_grayscale(y_pred) return 1 - self.ssim(gray_true, gray_pred) ``` 其中,`y_true` 为目标图像,`y_pred` 为生成图像。 3. 组合 SSIM 损失函数和其他损失函数。假设我们还使用了 MSE 损失函数,可以通过以下代码组合两个损失函数: ```python mse_loss = nn.MSELoss() ssim_loss = SSIMLoss() total_loss = ssim_weight * ssim_loss + mse_weight * mse_loss ``` 其中,`ssim_weight` 和 `mse_weight` 分别为 SSIM 损失函数和 MSE 损失函数的权重。 4. 训练模型。通过反向传播算法计算梯度并更新模型参数,以最小化总损失函数。 ```python model = SRModel() criterion = total_loss optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): for i, (inputs, targets) in enumerate(train_loader): optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() ``` 其中,`train_loader` 为输入数据集,`num_epochs` 为训练的轮数。 以上就是一个使用 SSIM 作为损失函数的 PyTorch 例子。需要注意的是,实际应用中需要根据具体任务和数据集调整损失函数的参数和权重,以达到最佳效果。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值