Perceptual Loss（感知损失）论文笔记

最新推荐文章于 2024-03-29 09:07:29 发布
最新推荐文章于 2024-03-29 09:07:29 发布
阅读量2.4w 收藏 61
点赞数 13
分类专栏： 图像超分辨率 文章标签： perceptual loss
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43840215/article/details/89761549
版权

“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”论文出自斯坦福大学李飞飞团队，发表于ECCV 2016

论文地址：https://arxiv.org/abs/1603.08155
补充材料地址：https://cs.stanford.edu/people/jcjohns/papers/eccv16/JohnsonECCV16Supplementary.pdf

简介

图像转换问题（image transformation tasks），输入一副图像转换成另一幅图像输出。现有方法来解决的图像转换问题，往往以监督训练的方式，训练一个前向传播的网络，利用的就是图像像素级之间的误差。这种方法在测试的时候非常有效，因为仅仅需要一次前向传播即可。但是，像素级的误差没有捕获输出和ground-truth图像之间的感知区别（perceptual differences）。

最近的研究工作表明，高质量的图像可以通过定义和优化perceptual loss函数来生成，该损失函数基于使用预训练好的网络提供的高层的特征。

本文中，我们将两者的优势进行结合，训练一个前向传播的网络进行图像转换的任务，但是不用 pixel-level loss function，而采用 perceptual loss function。在训练的过程中，感知误差衡量了图像之间的相

最低0.47元/天 解锁文章
骑猪撞地球J
关注
专栏目录
【图像超分】Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network
畅游计算机视觉的海洋
05-29 127
基于卷积神经网络 (CNN) 的方法最近在图像超分辨率 (SR) 方面取得了巨大成功。然而，大多数基于深度 CNN 的 SR 模型试图改进失真度量（例如 PSNR、SSIM、IFC、VIF），同时导致量化感知质量较差（例如人类意见分数、无参考质量度量如 NIQE）。很少有作品试图以失真度量的性能下降为代价来提高感知质量。最近的一项研究表明，失真和感知质量彼此不一致，两者之间总是有一个权衡。通常，在感知质量方面优于恢复算法在失真度量方面较差。我们的工作试图分析单幅图像SR问题的失真和感知质量之间的权衡。
感知损失(Perceptual Losses)
热门推荐
雨石
01-04 7万+
图像风格转换算法将图片生成以生成的方式进行处理，如风格转换，是从一张噪音图（相当于白板）中得到一张结果图，具有图片A的内容和图片B的风格。而Perceptual Losses则是将生成问题看做是变换问题。即生成图像是从内容图中变化得到。
图像风格化——感知损失（perceptual loss）(2016)
studyeboy的专栏
07-16 8418
[paper]Perceptual Losses for Real-Time Style Transfer and Super-Resolution(2016) Perceptual Losses for Real-Time Style Transfer and Super-Resolution:Supplementary Material 《Loss Functions for Image Restoration with Neural Networks》中对图像复原任务中的损失函数进行了比较，指出了L2
损失函数——感知损失（Perceptual Loss）
weixin_50752408的博客
03-15 1万+
例如，VGG-19网络中的卷积层可以提取图像的纹理和结构信息，而网络的全连接层可以提取图像的语义信息。感知损失的计算方式通常是将输入图像和目标图像分别通过预训练的神经网络，得到它们在网络中的特征表示。与传统的均方误差损失函数（Mean Square Error，MSE）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受。其中，x 是输入图像，y 是目标图像，Fi​(x) 和 Fi​(y) 分别表示它们在预训练的神经网络中的第 i 层的特征表示，N 是特征层数。然后我们创建了损失函数。
Perceptual Loss（感知损失）&Perceptual Losses for Real-Time Style Transferand Super-Resolution论文解读
qq_40962125的博客
01-10 4460
感知损失通过一个固定的网络（VGG16,VGG19..），分别用prediction 和 groundtruth作为VGG16输入， 得到对应的输出特征，pre-vgg，gt-vgg。注：往往pre-loss（感知损失）为正则项，需要配合其他损失函数进行指导，可以通过自定参数调节感知损失的惩罚（调节）力度。在提取特征时，通常不会只使用一层的特征，而是使用网络中浅层，中层，深层特征，进行组合。2.送入prediction和ground truth分别通过VGG前向，并得到pre-vgg，gt-vgg。
Perceptual Loss
wrk226的博客
12-25 449
出自2016年李飞飞团队的Perceptual Losses for Real-Time Style Transfer and Super-Resolution 目标是加速图片转换的速度，因为当时的图片转换都是通过不断地迭代来让生成的图片不断往目标图片靠近，但这太慢了，所以这篇文章就提出了一个end to end的方法。 System overview 分为两个部分，一个是image t...
perceptual loss(感知loss)介绍
修行之路
05-29 605
perceptual loss(感知loss)介绍
SRGAN论文阅读笔记
weixin_43840215的博客
05-01 6933
“Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”首次(GAN)应用于图像超分辨率(SR)，在图像超分辨率领域引起了极大的关注，该工作由twitter公司提出，发表于2017 IEEE Conference on Computer Vision and Pattern Reco...
style_transfer-perceptual_loss-master
12-21
style_transfer-perceptual_loss-master 风格迁移代码
读书笔记：Bi-Directional Cascade Network for Perceptual Edge Detection
versionwen的博客
11-01 3099
目录 摘要 1.介绍 2.相关工作 3.方法 3.1公式 3.2BDCN的架构 3.3网络训练 4.实验 4.1数据集 摘要 利用多尺度表示对于提高不同尺度对象的边缘检测至关重要。为了利用多尺度提取边缘，我们提出了一种全向级联网络（BDCN）结构，在该结构中，单个层由具有特定比例的标记边缘进行监督，而不是直接对所有CNN输出应用相同的监督。此外，为了丰富BDCN，我们引...
【图像超分】论文精读：SRResNet/SRGAN
最新发布
畅游计算机视觉的海洋
03-29 6508
尽管使用更快更深的卷积神经网络在单幅图像超分辨率的准确性和速度方面取得了突破，但一个中心问题在很大程度上仍未解决：当我们在大型放大因子上超分辨率时，我们如何恢复更精细的纹理细节。基于优化的超分辨率方法的行为主要是由目标函数的选择驱动的。最近的工作主要集中在最小化均方重建误差上。生成的估计具有较高的峰值信噪比，但它们通常缺乏高频细节，并且在感知上不令人满意，因为它们无法匹配更高分辨率的保真度。在本文中，我们提出了SRGAN，一种用于图像超分辨率(SR)的生成对抗网络(GAN)。据我们所知，这是第一个能够为4×
感知损失（perceptual loss）详解
MOL
05-14 4万+
本文来自收费专栏：https://blog.csdn.net/nanhuaibeian/article/details/102668095 目录 一.感知损失 二、Loss_feature 三、Loss_style 一.感知损失 图中： 蓝线加黑线表示内容损失，作用在较低特征层上 红线和黑线表示风格损失，作用在从低到高所有特征层上 这个结构和GAN较为相似 左边是Transform Net: fw，起着条件生成器的作用， pix2pix GAN 的生成器就也...
keras-perceptual_loss
Cutepingping的博客
09-30 954
keras-perceptual_loss L1, L2 Loss def l1_loss(y_true,y_pred): return K.mean(K.abs(y_true-y_pred)) def l2_loss(y_true,y_pred): return K.mean(K.square(y_true-y_pred))   Perceptual Loss ...
【论文读后感】：Perceptual Losses for Real-Time Style Transfer and Super-Resolution
艾与代码
01-15 2650
固定风格任意内容高分辨率实时风格转换摘要引言相关工作方法参考合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 本篇博客中标黄的字属...
Perceptual Losses对SR论文阅读笔记
read, note and comment papers
07-25 291
原论文链接如下：https://arxiv.org/abs/1603.08155 论文主要观点就是，对loss计算方式的改进，原来多数基于per-pixel的loss计算，而论文提出两种loss：feature reconstruction loss和style reconstruction loss，由于SR只涉及feature loss，所以另一个暂时先不讲 feature reconst...
Cycle-Dehaze：用于单图像去雾的增强型 CycleGAN（2018_CVPR）
小菜鸟
04-22 3444
优点： 1、通过非配对方式提供干净和朦胧的图像来训练网络 2、一个端到端网络，不依赖于大气散射模型参数的估计 方法： 1、结合循环一致性和感知损失来增强 CycleGAN 公式 2、由于图像去雾都是低分辨率模型，应用双三次缩减获得低分辨率输出，利用拉普拉斯金字塔将输出图像放大到原始分辨率 循环感知一致性损失 CycleGAN [37] 架构引入了循环一致性损失，它为未配对的图像到图像转换任务计算原始图像和循环图像之间的 L1-范数。然而，原始图像和循环图像之间的这种计算损失不足以恢复所有纹理信息，因为模糊图
perceptual loss
01-31
感知损失是一种用于深度学习中的损失函数，它被用于衡量生成模型生成的结果与真实数据之间的差异。传统的损失函数通常是基于像素级别的比较，而感知损失则以人类感知的方式来衡量生成结果的质量。 感知损失的核心思想是将生成结果与真实数据在感知空间中进行比较，而不是直接比较像素值。为了实现这一点，通常会使用预训练的卷积神经网络（如VGG网络）将生成结果和真实数据在中间层进行特征提取，然后比较提取到的特征。 通过使用感知损失，生成模型可以更好地学习到图像的语义信息，而不仅仅是基于像素级别的细节。例如，在图像生成任务中，生成模型可以学习到物体的形状、纹理、风格等重要特征。这样一来，生成的结果更加真实、逼真，更符合人类感知。 感知损失的另一个优点是它可以减少传统像素级损失函数中的一些问题。例如，传统的损失函数容易受到噪声干扰和图片变形的影响，而感知损失则更加稳健，能够忽略一些无关的细节。此外，感知损失也可以帮助解决"模式崩溃"现象，即生成模型在处理复杂图像时容易产生的一些重复或不合理的模式。 综上所述，感知损失在深度学习中起到了关键作用，它通过以人的感知方式来衡量生成结果的质量，提高了生成模型的性能和输出质量。这使得感知损失成为了许多图像生成任务的重要组成部分。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值