TecoGAN翻译

本文提出了一种对抗性循环训练方法,用于实现真实和一致性的视频超分辨率。通过结合运动补偿和时空判别器,解决了传统方法中的时间不一致性和空间细节损失问题。提出的新损失函数和 Ping-Pong 损失有效减少了时间伪影,提高了时间演化准确性和感知质量。研究表明,这种方法在视频时间一致性细节方面优于现有技术。
摘要由CSDN通过智能技术生成

摘要

对抗训练在图像超分辨率的背景下是非常成功的。它被证明产生了现实和高度详细的结果。尽管取得了成功,许多先进的视频超分辨率方法仍然倾向于简单的规范,如 L2对抗损失函数。
这是由于作为损失函数的的直接矢量规范的平均性质导致了时间平滑。缺乏空间细节意味着时间相干性很容易建立。
在我们的工作中,我们提出了一种针对视频超分辨率的对抗性训练,在不牺牲空间细节的情况下获得时间相干的解决方案。


在我们的生成器中,我们使用了一个递归的、残差框架,它自然的鼓励了时间的一致性。
对于对抗性训练,我们结合运动补偿提出了一种新的时空判别器来保证结果中图像的真实感和时间一致性。
此外,我们还在递归网络中识别了一类时间伪影,并提出了一种新的ping-pong损失来消除他们。

对图像超分辨率任务的时间相干性进行量化也是以前没有解决的问题。我们提出了第一组度量来评估时间演化的准确性和感知质量,我们证明了我们的方法比以前的工作性能更好,因为它产生了具有自然时间变化的真实和详细的图像

1、引言

自然图像的超分辨率是图像和视频处理领域的经典和难点问题。
对于单图像超分辨率(SISIR),基于深度学习的方法可以获得最好的峰值信噪比(PSNR),而基于生成对抗网络(GANs)的架构在感知质量方面取得了很大的改善。

多项研究【2,38】已经证明,用传统的和感知度量来评估超分辨率任务是至关重要的,因为在向量标准(即PSNR)和感知质量之间存在内在的权衡。
在实践中,需要两者的结合才能获得高质量的结果。


<
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值