Detail-revealing Deep Video Super-resolution 中文翻译

摘要

以前基于CNN的视频超分辨率方法需要将多个帧与参考对齐。本文表明，适当的帧对齐和运动补偿对于获得高质量的结果至关重要。因此，我们在CNN框架中提出了“亚像素运动补偿”（SPMC）层。分析和实验表明该层在视频SR中的适用性，最终的端到端、可扩展的CNN框架有效地融合了SPMC层，并融合了多个帧来揭示图像细节。我们的实现可以在视觉上和定量上生成高质量的结果，优于当前的技术状态，无需参数调整。

1.介绍

视频或多帧超分辨率（SR）是图像处理和计算机视觉中的基本问题之一，它的目标是恢复低分辨率（LR）图像的高分辨率（HR）图像。与仅基于外部示例生成细节的单一图像SR相比，理想的视频SR系统应能够正确提取和融合多帧中的图像细节。为了实现这一目标，需要解决两个重要的子问题：（1）如何对齐多帧以构建精确的对应关系；（2）如何有效地融合高质量输出的图像细节。

运动补偿

虽然连续帧之间的大运动增加了定位相应图像区域的难度，但细微的亚像素运动反而有利于细节的恢复。大多数以前的方法通过估计光流[2，7，19，20，23]或应用块匹配[28]来补偿帧间运动。在估计运动后，传统方法[7，20，23]基于各种成像模型和图像先验重构HR输出，通常在迭代估计框架下。这些方法中的大多数涉及相当密集的个案参数调整和昂贵的计算。

最近基于深度学习的视频sr方法[2，14]通过使用后向翘曲将所有其他帧与参考帧对齐来补偿帧间运动。研究表明，这种看似合理的技术选择对视频SR来说并不是最佳选择，改善运动补偿可以直