Super-resolution:RankSRGAN: Generative Adversarial Networks with Ranker for Image SR(论文简读二十二)

Title:RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution

From:ICCV2019

Note data:2019/08/18

Abstract:针对现有方法中无法合理评估生成图像质量问题,采用感知指标来评估感知质量并提出具有Ranker(RankSRGAN)的超分辨生成对抗网络。

Code:未开源


1 Abstract

生成对抗网络(GAN)已经证明了恢复单图像超分辨率(SISR)的真实细节的潜力。 为了进一步提高超分辨率结果的视觉质量,PIRM2018-SR Challenge采用感知矩形来评估感知质量,例如PI,NIQE和Ma。 论文针对现有的方法不能直接优化一些无差异的感知度量问题,提出了具有Ranker(RankSRGAN)的超分辨生成对抗网络。在感知度量方向上优化生成器并生成更加自然的纹理。最吸引人的部分是所提出的方法可以结合不同SR的优势。 产生更好结果的方法。 大量实验表明,RankSR-GAN实现了视觉上令人愉悦的结果,并在感知指标中达到了最先进的性能。


2 Introduction

单图像超分辨率旨在从低分辨率(LR)观察重建/生成高分辨率(HR)图像(超分辨综述)。由于强大的学习能力,卷积神经网络(CNNs)已经证明了优于传统的基于实例的和基于插值的算法的性能。最近基于CNN的方法可以分为两组:

  • 第一个将SR视为重建问题,并采用MSE作为损失函数来实现高PSNR值。

存在的问题:由于重建精度和视觉质量之间的冲突,它们倾向于产生过度平滑/锐化的图像。为了获得更好的视觉质量;

  • 第二组将SR视为图像生成问题。通过结合感知损失和对抗性学习,这些感知SR方法有可能产生逼真的纹理和细节。

感知SR方法面临的最具挑战性的问题是评估。大多数相关工作依靠用户研究来主观评估视觉质量。但是,如果没有像PSNR / SSIM这样的客观度量,很难在公平平台上比较不同的算法,这在很大程度上阻碍了它们的快速发展。为了解决这个问题,提出了许多无参考图像质量评估(NR-IQA)指标,其中一些被证明与人类评级高度相关,如NIQE (相关性0.76)和PI (相关性0.83)。特别地,PIRM2018-SR挑战引入了PI度量标准作为感知标准并成功地对条目进行了排名。然而,这些NR-IQA指标中的大多数都不是可微分的(例如,它们包括手工特征提取或统计回归操作),使得它们不能用作损失函数。在不考虑优化中的NR-IQA度量的情况下,现有的感知SR方法在客观感知标准的方向上不能表现出稳定的性能。

为了克服这个障碍,论文提出了一个通用且可微分的模型 -  Ranker,它可以模拟任何NR-IQA指标并提供明确的目标(作为损失函数)来优化感知质量。 具体来说,Ranker是一个连体CNN,它通过学习排名方法来模拟感知度量的行为。 值得注意的是,由于NR-IQA指标具有各种动态范围,因此Ranker了解其输出排名顺序而非绝对值。 我们为Ranker配备了标准的SRGAN模型并形成了一个新的感知SR框架 -  RankSRGAN(具有Ranker的超分辨率生成对抗网络)。除了SRGAN之外,所提出的框架使用训练有素的Ranker来测量 输出图像质量。 然后可以在特定感知度量的方向上稳定地优化SR模型。


3 Relate work

作者从三个方面对相应的工作进行了介绍以下将分条进行说明:

Super resolution:首先将卷积神经网络(CNN)引入SR任务,一系列基于学习的作品在PSNR方面取得了很大的进步。提出了一系列的相关网络模型,引入纹理匹配和语义先验以提高感知质量。采用NIQE和Ma 组成的感知指数来测量ECCV中PIRM2018-SR挑战中的感知SR方法。ESRGAN通过改进网络架构和损失功能来实现最先进的性能。

CNN for NR-IQA:无参考图像质量评估(NR-IQA)可以通过基于学习的模型实现,该模型从自然场景统计(NSS)中提取手工制作的特征。。对于SR任务,我们期望将感知度量的等级信息引入SR模型训练。

Learning to rank:使用良好学习的排名函数模拟相对属性。首先在统一框架中使用CNN进行相对属性排序。对我们工作最相关的研究之一是RankCGAN ,该研究调查了使用GAN来处理具有语义属性的图像生成任务。与通过噪声输入生成图像的标准GAN不同,RankCGAN将成对的Ranker合并到CGAN架构中,以便它可以使用主观测量来处理连续属性值。


4 Method

4.1 Overview of RankSRGAN

该方法由生成器和判别器组成。 判别器网络试图将 ground-truth与超分辨率结果区分开来,同时训练发电机网络以欺骗判别器。 为了获得更自然的纹理,我们建议通过利用感知度量的先验知识来增加标准SRGAN 的附加约束,以提高输出图像的视觉质量。 我们方法的总体框架如图2所示。

网络概述: 

阶段1:在感知度量的方向上由不同的SR模型生成成对等级图像。

阶段2:训练类似暹罗的排名网络。

阶段3:引入从训练有素的Ranker获得的排名内容损失,以指导GAN培训。 RankSRGAN由生成器(G),鉴别器(D),固定特征提取器(F)和Ranker(R)组成

阶段1:生成成对排名图像。采用不同的SR方法在公共SR数据集上生成超分辨率图像。然后在所生成的图像上应用所选择的感知度量(例如,NIQE)。之后拾取相同内容的两个图像以形成一对,并根据由感知度量计算的质量分数对成对图像进行排名。然后获得成对图像和相关的排名标签。

第二阶段:训练排名。 Ranker采用Siamese架构来学习感知指标的行为,网络结构在3.2节中描述。我们采用余量等级损失,这是“学习排名”中常用的,作为优化Ranker的成本函数。学习的Ranker应该具有根据他们的感知分数对图像进行排名的能力

Stage3:Introducerank-contentloss:一旦Ranker受过良好训练,我们就会使用它来定义标准SRGAN的排名内容损失,以生成视觉上令人愉悦的图像。

4.2 Ranker

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值