常用损失函数（L1、L2、SSIM和MS-SSIM）对比简介

已于 2024-10-17 22:03:17 修改
阅读量3.4k 收藏 24
点赞数 6
分类专栏： 深度学习基本知识 文章标签： 人工智能 计算机视觉
于 2023-05-29 10:01:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59023219/article/details/130922417
版权
文章探讨了在图像恢复任务中不同损失函数的效果，包括L1、L2、SSIM和MS-SSIM。L2损失函数可能会放大误差并对异常点敏感，而L1损失则可能导致亮度和颜色的变化。SSIM和MS-SSIM考虑了人类视觉系统，提供更好的图像质量。结合MS-SSIM与L1损失函数可以平衡亮度、颜色和高频信息的保留。实验结果显示，MS-SSIM+L1在多个任务上表现最佳，但评价图像质量应结合主观和客观标准。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.介绍

    本文的介绍主要是参考论文：Loss Functions for Image Restoration with Neural Networks，而作者是从这三个实验（image super-resolution, JPEG artifactsremoval, and joint denoising plus demosaicking）上来证明这几个损失函数的好坏。

 

2.损失函数

    L1损失函数： 基于逐像素比较差异，然后取绝对值

c88c93dc8868afe50b679d3941514c6b.png

    L2损失函数： 基于逐像素比较差异，然后取平方

8d7acdf8f18b72c49a14dd1581a9d618.png

    相对于L1损失函数，L2损失函数会放大最大误差和最小误差之间的差距（比如2*2 和0.1*0.1），另外L2损失函数对异常点也比较敏感。如果我们在训练网络的时候，只用L1损失函数或者L2损失函数的时候，很容易陷入到局部最优解中，如果选择交替训练的话，说不定会取得不错的效果。

5aa1667693cf168d3712e59930ded4db.png

 

   在图像质量评价指标中，有一个指标是PSNR(Peak Signal-to-Noise Ratio) 峰值信噪比，它正好对标L1和L2损失函数，但L1和L2是有一个共性：它们都是基于逐像素比较差异，没有考虑人类视觉感知，更没有考虑人的审美观，所以PSNR指标高，并不一定代表图像质量就好。在下面公式中，如果图片中每个像素都由 8 位二进制来表示，那么MAX就为 255

f60efcf607f05f4b20007692f2081639.png

 

   SSIM（结构相似）损失函数：考虑了亮度 (luminance)、对比度 (contrast) 和结构 (structure)指标，这就考虑了人类视觉感知，一般而言，SSIM得到的结果会比L1，L2的结果更有细节

a2d9a711599a4d637649ec12826c16cb.png

 

   MS-SSIM（多尺度结构相似）损失函数：基于多层（图片按照一定规则，由大到小缩放）的SSIM损失函数，相当于考虑了分辨率

441778b9476d8683f93181b59cc998fd.png

 

   MS-SSIM+L1损失函数：作者这样组合的原因是，MS-SSIM容易导致亮度的改变和颜色的偏差，但它能保留高频信息（图像的边缘和细节），而L1损失函数能较好的保持亮度和颜色不变化。公式中α为0.84，是作者试验出来的，而G为高斯分布参数（MS-SSIM里面也要用到这个）

f849e590cc8f578a160ec7e99e0352ed.png

 

3.效果对比

超分辨率：放大图片对比会发现L2中出现光栅失真现象，最好去原论文放大看看

25e4ce9d5d04f07048ae4a5439dfe694.png

b48ac576dd746171e6c846de32acfa97.png

 

JPEG去块：放大图片对比会发现L2中还是有比较严重的块状现象，最好去原论文放大看看

71a5f2c17ba2a65c8535f5e4a3e00d7f.png

6a185c297f9612715a8ffc82606746f3.png

 

去噪+去马赛克：一眼看出，L2的效果明显差一些，就不用放大了

1dd85d4ef5312c835143e3d3009dea7d.png

 

    我个人觉得评价一张图片的质量好不好，或者那个算法的效果好不好，应该结合主观和客观来评价，下图的客观数据也表明：MS-SSIM+L1损失函数是最好的

9f3f620bba0136e87cf3057945db8364.png

 

4.总结

     1.既然用了L2损失函数，为何不尝试一下L1损失函数

     2.如果不看PSNR指标，那就用MS-SSIM或者SSIM损失函数吧

     3.如果想获得奇效，试一下组合损失函数也为何不可

 

5.深度学习 ② 常用损失函数 3）
驽马十驾，功在不舍；锲而不舍，金石可镂。
02-03 9652
pytorch 常用loss函数整理篇（三）1.SSIM及MS-SSIM原理介绍2.SSIM及MS-SSIM Loss pytorch实现代码参考文献 之前介绍的常用Loss函数见： pytorch 常用loss函数整理篇（一） pytorch 常用loss函数整理篇（二） 本文主要介绍SSIM（structural similarity index）与MS-SSIM（multiscale structural similarity index） Loss。SSIM和MS-SSIM，作为评价图像质量的重要指
图像复原的损失函数总结——Loss Functions for Image Restoration with Neural Networks论文阅读
qq_42079689的博客
11-13 2万+
Loss Functions for Image Restoration with Neural Networks摘要损失函数L1 LossSSIM LossMS-SSIM Loss最好的选择：MS-SSIM + L1 Loss结果讨论损失函数的收敛性SSIM和MS-SSIM的表现 该论文发表于 IEEE Transactions on Computational Imaging 2016，点击论...
论文笔记-损失函数之SSIM
一只飞鱼的博客
01-10 2万+
损失函数用来鼓励和抑制某些行为。 在深度学习中，如果是分类问题，则可以用交叉熵，softmax,SVM等损失函数。如果是回归问题，则代价函数普遍采用L2，或者L1。 由于L2（即用真值和预测值的欧氏距离）是一个非凸形式且可导。。但L2的使用前提是噪声高斯分布的。它抑制大的误差，但对小的误差却很能容忍。比如L2能很好地复现边缘，但却无法很好地消除那些小的噪声。 最重要的，L2和人类的视觉系统（
SSIM与MS-SSIM图像评价函数
热门推荐
WeisongZhao
12-04 3万+
SSIM的全称为structural similarity index，即为结构相似性，是一种衡量两幅图像相似度的指标。该指标首先由德州大学奥斯丁分校的图像和视频工程实验室(Laboratory for Image and Video Engineering)提出。而如果两幅图像是压缩前和压缩后的图像，那么SSIM算法就可以用来评估压缩后的图像质量。 在实际应用中，一般采用高斯函数计算图像的均...
深度学习——图像相似度评价指标
最新发布
千禧皓月的博客
03-22 1043
峰值信噪比(PeakSignal toNoiseRatio，PSNR)，表示的是信号的最大功率与噪声功率的比值。峰值信噪比越高，表示噪声影响越小;峰值信噪比越低，表示噪声影响越大，单位是分贝dB。PSNR是基于像素值的全局评估，不考虑图像的结构信息。PSNR接近50dB：表示压缩后的图像质量非常高，仅有非常小的误差。在这种情况下，原始图像和压缩后的图像之间的差异几乎不可察觉。PSNR大于30dB：通常认为，人眼很难察觉到这种压缩水平下图像的失真。这意味着压缩后的图像在视觉上与原始图像非常接近。
损失函数-MS-SSIM(multiscale structure similarity)跨尺度结构相似性
xingghaoyuxitong的博客
02-26 5727
参考资料：https://blog.csdn.net/weixin_41923961/article/details/84795832 MS-SSIM的考虑了不同尺度下结构相似程度 本文在SSIM的基础上继续研究，通过不同大小的滤波算子来扩大感受野，模拟尺度缩小的情况。 另外，先求取一次SSIM,再考虑其余四次的contrast 和 structure map 基于tensorflow的代码： #%% import tensorflow as tf import numpy as np..
损失函数(Loss Function) -1
weixin_34395205的博客
11-08 252
http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf Loss Function 损失函数可以看做 误差部分(loss term) + 正则化部分(regularization term) 1.1 Loss Term Gold Standard ...
MSSIM和L1loss的混合损失函数用于图像恢复
群星闪耀的博客
08-02 1万+
背景 在图像恢复的深度神经网络当中。大部分的损失函数一般是L1 norm(MAE),L2 norm(MSE)。或者是SSIM,PSNR。 其中SSIM有了评价函数的变体MS_SSIM,具体的实现先参考文献[2], 代码部分再去参考[1]。 英伟达和MIT联合发表了一篇Loss Functions for Image Restoration with Neural Networks， 这种损失函数将MS_SIM和L1损失函数结合在一起。 下面写一些具体如何实现 实现过程 MS_SSIM的实现过程已经在[1]中
CycleGAN_ssim:比较不同的相似度函数在CycleGAN上重建图像。 （https
05-10
实现和训练有素的周期一致剖成对抗性网络（CycleGAN）如在所描述的具有不同的，具体地SSIM损失，损耗L1，L2损失和它们的组合，以产生更好的视觉质量的图像。 图1：CycleGAN工作 对于CycleGAN实现与L1损失是指。 ...
CNN图像处理常用损失函数对比评测
zenRRan的博客
07-12 4863
来源：arXiv编译：weakish尽管早在上世纪80年代末，神经网络就在手写数字识别上表现出色。直到近些年来，随着深度学习的兴起，神经网络才在计算机视觉领域呈现指数级的增长。现在，神经...
MS-SSIM_MS-SSIM_图像质量评价_ssim_图像评价_质量评价_
10-01
MS-SSIM，全参考图像质量评价经典算法
L2损失函数
m0_51200050的博客
07-06 1361
L2损失函数是一种常用的损失函数，尤其适用于回归任务。它通过平方误差来衡量预测值与真实值之间的差异，并且对较大的误差进行更强的惩罚，确保模型能够更准确地拟合数据。
浅谈SSIM 损失函数计算
qq_35914625的博客
02-11 2万+
浅谈SSIM 损失函数计算前言Structural Similarity亮度相似性对比度相似性结构相似度SSIM 实现总结 前言 最近研究图像重建老是看到SSIM损失函数，但是去找了那篇论文《Image Quality Assessment: From Error Visibility to Structural Similarity》挺有意思的。 Structural Similarity 作者把两幅图 x, y 的相似性按三个维度进行比较：亮度（luminance）l(x,y)，对比度（contrast
MSSIM和L1loss及L2loss的混合损失函数用于图像恢复
wqq112692的博客
03-31 1318
1.MSSIM和L1loss的混合。2.MSSIM和L2loss的混合。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 2万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
多尺度结构相似性L1损失的计算过程
qq_44698655的博客
11-08 1591
因为人类在同一时间只能关注到局部的亮度、对比度，结构等相似度信息，因此实际代码中不计算全局的均值和方差，只计算局部窗口内的均值和方差，最后将所有局部窗口得到的量化值相加求平均得到最终的SSIM值。共有五行，表示不同尺度下的高斯核。可以看到，不同尺度的高斯核具有不同的聚焦视野，这是模拟人类视在不同观看条件下的视觉辨别能力。多尺度SSIM是在原始SSIM基础上，计算多个尺度上的SSIM值，最后相乘得到最终的多尺度SSIM值。同理，SSIM的计算也是基于以上三个方面，并通过量化度量生成一个介于-1到1之间的值。
ssim损失函数怎么引用
09-07
SSIM（结构相似性指数）损失函数是一种衡量两个图像相似度的指标，其基本思想是通过比较图像的亮度、对比度和结构信息来量化图像质量。SSIM通常用于评估图像处理算法，比如压缩、增强和重建等的效果。在深度学习中，SSIM可以作为损失函数来训练模型，以生成与参考图像更相似的图像。 在深度学习框架中，如PyTorch或TensorFlow，你可能需要使用现成的库或者自己实现SSIM损失函数。以下是在PyTorch中引用SSIM的一个例子： 首先，你可以从一些开源代码库中导入现成的SSIM函数，例如： ```python from pytorch_msssim import ssim as calculate_ssim ``` 然后，你可以在你的模型训练过程中使用这个函数来计算SSIM损失。以下是如何在一个简单的图像恢复任务中使用SSIM损失的示例： ```python import torch import torch.nn as nn from pytorch_msssim import ssim class SSIMLoss(nn.Module): def __init__(self, window_size=11, size_average=True): super(SSIMLoss, self).__init__() self.window_size = window_size self.size_average = size_average self.channel = 1 self.window = self.create_window(window_size) def create_window(self, window_size): # 这里实现高斯窗口的创建 ... def forward(self, x, y): (_, channel, _, _) = x.size() self.channel = channel return 1 - ssim(x, y, data_range=1.0, size_average=self.size_average, channel=self.channel, win=self.window) # 假设pred是模型输出的图像，target是真实的图像 ssim_loss = SSIMLoss() loss = ssim_loss(pred, target) ``` 请注意，这里的`pytorch_msssim`是一个第三方库，你需要先使用`pip`安装它。 如果你选择自己实现SSIM函数，你需要根据其数学定义来编写代码，包括计算亮度、对比度和结构相似性三个部分。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值