摘要
对抗训练在图像超分辨率的背景下是非常成功的。它被证明产生了现实和高度详细的结果。尽管取得了成功,许多先进的视频超分辨率方法仍然倾向于简单的规范,如 L2对抗损失函数。
这是由于作为损失函数的的直接矢量规范的平均性质导致了时间平滑
。缺乏空间细节意味着时间相干性很容易建立。
在我们的工作中,我们提出了一种针对视频超分辨率的对抗性训练,在不牺牲空间细节的情况下获得时间相干的解决方案。
在我们的生成器中,我们使用了一个递归的、残差框架,它自然的鼓励了时间的一致性。
对于对抗性训练,我们结合运动补偿提出了一种新的时空判别器来保证结果中图像的真实感和时间一致性。
此外,我们还在递归网络中识别了一类时间伪影,并提出了一种新的ping-pong损失来消除他们。
对图像超分辨率任务的时间相干性进行量化也是以前没有解决的问题。我们提出了第一组度量来评估时间演化的准确性和感知质量,我们证明了我们的方法比以前的工作性能更好,因为它产生了具有自然时间变化的真实和详细的图像
1、引言
自然图像的超分辨率
是图像和视频处理领域的经典和难点问题。
对于单图像超分辨率(SISIR),基于深度学习的方法可以获得最好的峰值信噪比(PSNR),而基于生成对抗网络(GANs)的架构在感知质量
方面取得了很大的改善。
多项研究【2,38】已经证明,用传统的和感知度量来评估超分辨率任务是至关重要的,因为在向量标准(即PSNR)和感知质量之间存在内在的权衡。
在实践中,需要两者的结合才能获得高质量的结果。
<