Super-resolution:RankSRGAN: Generative Adversarial Networks with Ranker for Image SR(论文简读二十二）

最新推荐文章于 2022-05-31 12:17:46 发布

Jayden yang

最新推荐文章于 2022-05-31 12:17:46 发布

阅读量2.2k

点赞数 2

分类专栏：论文解读

本文链接：https://blog.csdn.net/qq_41997920/article/details/99705225

版权

论文解读专栏收录该内容

31 篇文章 26 订阅

订阅专栏

Title：RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution

From：ICCV2019

Note data：2019/08/18

Abstract：针对现有方法中无法合理评估生成图像质量问题，采用感知指标来评估感知质量并提出具有Ranker（RankSRGAN）的超分辨生成对抗网络。

Code:未开源

1 Abstract

生成对抗网络（GAN）已经证明了恢复单图像超分辨率（SISR）的真实细节的潜力。为了进一步提高超分辨率结果的视觉质量，PIRM2018-SR Challenge采用感知矩形来评估感知质量，例如PI，NIQE和Ma。论文针对现有的方法不能直接优化一些无差异的感知度量问题，提出了具有Ranker（RankSRGAN）的超分辨生成对抗网络。在感知度量方向上优化生成器并生成更加自然的纹理。最吸引人的部分是所提出的方法可以结合不同SR的优势。产生更好结果的方法。大量实验表明，RankSR-GAN实现了视觉上令人愉悦的结果，并在感知指标中达到了最先进的性能。

2 Introduction

单图像超分辨率旨在从低分辨率（LR）观察重建/生成高分辨率（HR）图像（超分辨综述）。由于强大的学习能力，卷积神经网络（CNNs）已经证明了优于传统的基于实例的和基于插值的算法的性能。最近基于CNN的方法可以分为两组：

第一个将SR视为重建问题，并采用MSE作为损失函数来实现高PSNR值。

存在的问题：由于重建精度和视觉质量之间的冲突，它们倾向于产生过度平滑/锐化的图像。为了获得更好的视觉质量；

第二组将SR视为图像生成问题。通过结合感知损失和对抗性学习，这些感知SR方法有可能产生逼真的纹理和细节。

感知SR方法面临的最具挑战性的问题是评估。大多数相关工作依靠用户研究来主观评估视觉质量。但是，如果没有像PSNR / SSIM这样的客观度量，很难在公平平台上比较不同的算法，这在很大程度上阻碍了它们的快速发展。为了解决这个问题，提出了许多无参考图像质量评估（NR-IQA）指标，其中一些被证明与人类评级高度相关，如NIQE （相关性0.76）和PI （相关性0.83）。特别地，PIRM2018-SR挑战引入了PI度量标准作为感知标准并成功地对条目进行了排名。然而，这些NR-IQA指标中的大多数都不是可微分的（例如，它们包括手工特征提取或统计回归操作），使得它们不能用作损失函数。在不考虑优化中的NR-IQA度量的情况下，现有的感知SR方法在客观感知标准的方向上不能表现出稳定的性能。

为了克服这个障碍，论文提出了一个通用且可微分的模型 - Ranker，它可以模拟任何NR-IQA指标并提供明确的目标（作为损失函数）来优化感知质量。具体来说，Ranker是一个连体CNN，它通过学习排名方法来模拟感知度量的行为。值得注意的是，由于NR-IQA指标具有各种动态范围，因此Ranker了解其输出排名顺序而非绝对值。我们为Ranker配备了标准的SRGAN模型并形成了一个新的感知SR框架 - RankSRGAN（具有Ranker的超分辨率生成对抗网络）。除了SRGAN之外，所提出的框架使用训练有素的Ranker来测量输出图像质量。然后可以在特定感知度量的方向上稳定地优化SR模型。

3 Relate work

作者从三个方面对相应的工作进行了介绍以下将分条进行说明：

Super resolution：首先将卷积神经网络（CNN）引入SR任务，一系列基于学习的作品在PSNR方面取得了很大的进步。提出了一系列的相关网络模型，引入纹理匹配和语义先验以提高感知质量。采用NIQE和Ma 组成的感知指数来测量ECCV中PIRM2018-SR挑战中的感知SR方法。ESRGAN通过改进网络架构和损失功能来实现最先进的性能。

CNN for NR-IQA：无参考图像质量评估（NR-IQA）可以通过基于学习的模型实现，该模型从自然场景统计（NSS）中提取手工制作的特征。。对于SR任务，我们期望将感知度量的等级信息引入SR模型训练。

Learning to rank：使用良好学习的排名函数模拟相对属性。首先在统一框架中使用CNN进行相对属性排序。对我们工作最相关的研究之一是RankCGAN ，该研究调查了使用GAN来处理具有语义属性的图像生成任务。与通过噪声输入生成图像的标准GAN不同，RankCGAN将成对的Ranker合并到CGAN架构中，以便它可以使用主观测量来处理连续属性值。