Pulse: Self-supervised Photo Upsampling via Latent Space Exploration of Generative Models

---

前言

本文来自2020的CVPR，是使用GAN来SR比较有意思并且引用量很多的一篇论文。

图像超分辨率的目的是从相应的低分辨率（low-resolution，LR）输入构建高分辨率（high-resolution，HR）图像。

一、摘要

作者指出：以往的SR方法是有监督的，往往是将SR到HR图像之间的平均距离作为训练目标，但是这样做会导致图片细节的缺失，尤其是在超分领域细节更加重要。

作者提出的新超分算法PULSE
1.以完全无监督实现，不需要成对的LR-HR图像进行训练。

2.通过遍历高分辨率图像流形的方法，寻找能够缩放到原始LR图像的图像，而不是从LR图像开始，慢慢增加细节。

3.通过利用high-dimensional Gaussians的特性，限制搜索空间，保证输出的真实性。

二、创新点

1.针对SR的新范式

传统的SR方法中，人们认为理论上，低分辨率图像和高分辨率图像蕴含相同的信息量，因此目标就鉴于给定的ILR(低分辨率图片)如何恢复为IHR（高分辨率图片），所以任务就是拟合函数SR，使其最小化。

传统方法中Lp规范化缺乏细节，并且这个问题不能通过改变网络结构来解决。

本文提出了一种针对单幅图像SR的新的框架，其目标是对于给定的ILR，在流形上找到一个ISR（超分辨率图像）,使得

这里作者令

作为正确缩放的图片集合，然后再流形和集合的交集空间中寻找潜在的目标图像。

2.Downscling Loss

作者认为SR问题的核心是正确性，SR问题的准确性的关键是生成的超分辨率图像ISR与ILR必须相对应。即

对此提出了降尺度损失（downscaling function）来对应上述概念，；利用降尺度损失来惩罚偏离ILR的ISR。

总的来说，当PULSE模型的生成网络提议以一张清晰图像作为输出时，判别网络会把这张清晰图像的分辨率降低到与输入图像相等的水平。然后，判别网络会对比降尺度损失图像与输入图像之间的相似性。只有在降尺度损失图像与输入图像相似性较高时，判别网络才会判定生成网络提议的清晰图片可以作为输出。

3.Latent Space Exploration

本文对流形进行了可微分的参数化，然后使用降尺度损失沿着流形搜索，这样的话，找到的图像来自高像素图像流形，同时能够保证为正确的图像，因为能多降尺度为LR输入图像。

本文使用无监督学习技术来近似流行的参数化，使用无监管模型中的GAN网络来生成图像。

这里作者引入生成器G潜在空间c理想情况下可以用生成器生成的图像来近似流形M,那么上述问题就可以重述为，从C中寻找一个潜在的向量z， 使之满足

为了保证生成器的图像是在流形空间内的，潜在空间L的区域需要大概率在所选的先验条件下。

实验

这篇论文学习了SRGAN的MOS打分规则，2017年的SRGAN在论文中已实际对比图的形式证明了PSNR和SIIM得分高的SR图像，人眼却不一定认为其效果好。这次的MOS得分基于40位评估者的打分

研究人员用高分辨人脸数据集CelebA HQ评估PULSE的性能。为了进行对比，研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。

所有模型均以1616分辨率的图像作为输入，BICBIC、FSRNET和FSRGAN模型以128128分辨率图像作为输出，PULSE模型以128128分辨率图像和10241024分辨率图像作为输出。

评估结果显示，图像质量方面，PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。

接下来，研究人员用平均意见分数（MOS）测试来定量评估模型的分辨率。研究人员应用6个模型生成128*128分辨率的图像，邀请40位评估者对6个模型的输出结果进行打分。

用于对比的模型分别是：HR、Nearest、Bicubic、FSRNet、FSRGAN。

结果显示，PULSE的MOS分数最高，为3.60，即评估者认为PULSE模型生成的图像分辨率最高。

总结

这篇文章提出了图像超分辨率的新性表述方式，提出的方法有别于传统的监督学习方法，PULSE的确可以产生优质并且可以正确缩放的人脸图像，但是在自然环境图像的处理上有局限性。而且在实验部分的评价指标过于主观，还是缺少一定的说服性。

看到这张图让我联想到CycleGAN的训练方法。