【深度学习】Loss Functions for Neural Networks for Image Processing

最新推荐文章于 2023-05-29 10:01:18 发布
最新推荐文章于 2023-05-29 10:01:18 发布
阅读量5k 收藏 12
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shwan_ma/article/details/79055569
版权

在目前的深度学习中，业界主流主要还是把调整深度学习网络结构作为主要的工作重心，即使损失函数(loss functions)对整个网络的训练起着十分重要的作用。

Nvidia和MIT最近发了一篇论文《loss functions for neural networks for image processing》则详细探讨了损失函数在深度学习起着的一些作用。通过对比L1,L2,SSIM,MS-SSIM四种损失函数，作者也提出了自己的损失函数（L1+MS-SSIM）。

在目前研究中，L2范数基本是默认的损失函数，因为好处太多了。比较直观的就是L2损失函数可微，且凸。而且L2损失函数的网络往往会对峰值性噪比PSNR有针对性的提升。然而PSNR跟人类对图像感知(HVS)的关系其实并不紧密。当然，事实也存在着一些跟HVS更加紧密的损失函数，但是他们往往不可导，这使得在程序上处理起来不是那么的容易。于是在本文实验中，作者仅选取了两种与HVS相关的损失函数：SSIM 与 MS-SSIM。

L1损失函数

L1损失函数可简单表示如下：
这里写图片描述
他的微分形式也很简单：

最低0.47元/天 解锁文章
Shwan_Ma
关注
专栏目录
Understanding Convolutional Neural Networks for NLP
程序员光剑
08-18 888
作者：禅与计算机程序设计艺术 1.简介 Convolutional Neural Network (CNN) has been widely used in Natural Language Processing (NLP) tasks due to its ability to capture com
阅读论文《Loss Functions for Image Restoration With Neural Networks》
CHNguoshiwushuang的博客
06-08 6188
   这是去年计算成像学领域的一篇论文（链接：https://ieeexplore.ieee.org/document/7797130/ ），重在讨论如何损失函数对图像恢复的影响。在目前的图像恢复任务中主要使用的还是L2损失函数，L2损失的好处有很多，例如可以直接提高PSNR等指标。但是L2指标与人类感知的图像质量相关性较差，例如其假设噪声与图像的局部区域无关。在有些情况下，L1损失函数获得的图像...
SiameseNeuralNetwork LossFunction
weixin_41068770的博客
10-13 229
Siamese Loss 参考：https://blog.csdn.net/sxf1061926959/article/details/54836696 孪生网络中的Siamese Loss，来自Yann LeCun的论文《Learning a Similarity Metric Discriminatively, with Application to Face Verification》，...
Neural network（一、损失函数）
qq_34368191的博客
11-16 553
sigmoid: sigmoid函数的图像，如果我把水平轴作为轴，那么关于的sigmoid函数是这样的，它是平滑地从0走向1，让我在这里标记纵轴，这是0，曲线与纵轴相交的截距是0.5，这就是关于的sigmoid函数的图像。我们通常都使用来表示的值。 关于sigmoid函数的公式是这样的，,在这里是一个实数，这里要说明一些要注意的事情，如果非常大那么将会接近于0，关于的sigmoid函数将会...
loss functions
vola的专栏
04-08 389
这里介绍keras中的loss function. keras loss function的介绍在这里 loss function 或objective function 或 optimization score function是模型训练两个必不可少的参数之一, 例如: from keras import losses model.compile(loss='mean_square...
常用损失函数（L1、L2、SSIM和MS-SSIM）对比简介
修行之路
05-29 2131
常用损失函数（L1、L2、SSIM和MS-SSIM）对比简介
图像复原的损失函数总结——Loss Functions for Image Restoration with Neural Networks论文阅读
qq_42079689的博客
11-13 1万+
Loss Functions for Image Restoration with Neural Networks摘要损失函数L1 LossSSIM LossMS-SSIM Loss最好的选择：MS-SSIM + L1 Loss结果讨论损失函数的收敛性SSIM和MS-SSIM的表现 该论文发表于 IEEE Transactions on Computational Imaging 2016，点击论...
【Advanced】Image Recognition in MATLAB: Using Convolutional Neural Networks for Image Recognition
Convolutional Neural Networks (CNNs) are a type of deep neural network, specialized for processing grid-like data, such as images. The architecture of a CNN consists of the following layers: ***...
论文笔记-深度估计(5)Unsupervised Monocular Depth Estimation with Left-Right Consistency
一只飞鱼的博客
01-01 6839
ECCV2016_Unsupervised Monocular Depth Estimation with Left-Right Consistency 本文采用无监督学习（没有ground truth）的方法来估计深度，基本思路是匹配好左右视图的像素，得到disparity map。根据得到的视差disparity，由d = bf/disparity，算出depth map。本文能实现在35m...
Simple-SSIM-Loss:使用PyTorch简单而天真地实现结构相似性损失
03-07
简单的SSIM 实现SSIM丢失功能。 实现在Pix2PixLoss.py 。 一个测试示例在test.py
论文——《Loss Functions for Image Restoration With Neural Networks》
zyr_freedom的博客
05-20 3889
论文题目，核心要点记录，代码的核心实现，小结感受。 1. 要点记录 这篇文章介绍了不同的loss function对image restoration 的 影响。 L2范数基本是默认的损失函数。优势：比较直观的就是L2损失函数可微，且凸。而且L2损失函数的网络往往会对峰值性噪比PSNR有针对性的提升。缺点：L2指标与人类感知的图像质量相关性较差，例如其假设噪声与图像的局部区域无关。 ...
SSIM（MSSSIM）loss和相似功能的loss总结
shY Pa
07-25 1万+
1、tensorflow版本 https://www.e-learn.cn/index.php/content/wangluowenzhang/249870 2、pytorch版本（SSIM、MSSSIM） https://github.com/jorge-pessoa/pytorch-msssim/tree/master 3、contextual loss（作用同SSIM） https...
【损失函数：2】Charbonnier Loss、SSIM Loss（附Pytorch实现）
NorthSmile的博客
09-27 1万+
下面介绍各个函数时，涉及到一下2变量，其含义如下：假设网络输入为x，输出为y‾y​=f(x)，x的真实标签为y，其中：、、上述定义中的N通常表示一个批次中所包含的样本数量，因为在网络训练时我们通常是逐批次送入网络训练，每个批次计算一次损失，然后进行参数更新。
自监督深度估计之SSIM损失，附pytorch代码
qq_22751305的博客
05-27 1672
来源：公众号 在自监督深度估计中，一般输入2张图像（若为视频，则输入邻近的两帧图像）frame1和frame2，模型先估计相机拍摄这2张图像是的姿态变化pose，然后根据pose将frame1变换到frame2的视角下，得到合成图像synthetic frame1。 估算的pose越准确，synthetic frame1与frame2的图像相似度就越高。那么，常用SSIM（结构相似性）来评价这两张图片的相似度。 若希望详细了解单目深度估计，可参考文章《动态场景下的单目深度估计》、《Instance-w
tensorflow 实现 SSIM 损失函数
U R MINE
05-19 7437
基于深度学习的图像算法的损失函数有很多类型，常见的比方 L1 loss，L2 loss 等。但是对于图像复原工作而言 L2 loss 对于图像的细节结构不易恢复，且 L2 对于敏感点的惩罚比较大。 在实际训练的某个任务中，我发现 L1 loss 收敛后的 loss （0.02）远远大于 L2 loss 收敛后的 loss（0.0004），而且两个对于一些细节的复原都不够，且不足以直观地表达人的认知感受。如下图 那么有没有其他的 loss 呢？ 答案是肯定的。 1 SSIM l...
深度学习知识十五：basnet边缘注意力分割网络、SSIM Loss原理介绍
yangdeshun888的博客
03-27 4868
1、basnet边缘注意力分割网络原理介绍： basnet主要使用了一个Residual Refinement Module跟SSIM loss，其解码网络主要有7个输出，然后通过Residual Refinement Module进行输出一个，总共有8个输出，他们的输出W H大小跟输入数据的W H一样。 basnet网络其目标分割效果很好，除了使用上面的RRM网络结构外还有一个是使用了SSIM loss 这个损失会计算预测输出跟打标mask的亮度、对比度、图像结构这三者的损失。 BASNET网络的结
图像质量损失函数SSIM Loss的原理详解和代码具体实现
热门推荐
jacke121的专栏
06-03 4万+
图像质量损失函数SSIM Loss的原理详解和代码具体实现 首先，本文解读一篇2004年的文献：Image Quality Assessment: From Error Visibility to Structural Similarity 。该文献提出了一种衡量重建图像和原图的相似性的metric：Structural Similarity (SSIM)，这个 metric 被广泛...
SSIMLoss的用法（CoRRN）
jie的博客
07-08 5142
结构相似性指数（SSIM）用于度量两幅图像间的结构相似性。 通过亮度、对比度、结构来测量两个图像之间的想相似性。 SSIM值越大，图像越相似，当两幅图像完全相同时，SSIM=1。所以作为损失函数时，应该要取负号，例如： loss = 1 - SSIM 。 参考 来自CoRRN中的SSIMLoss代码详解： import torch import torch.nn.functional as F from torch.autograd import Variable import numpy as np fr
attention-guided cnn for image denoising, neural networks
最新发布
09-03
《Attention-guided CNN for image denoising》是一种用于图像去噪的神经网络模型。它基于卷积神经网络（CNN）的基本架构，但引入了注意力机制来提高去噪的效果。 在传统的CNN中，输入图像经过一系列卷积和池化操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值