模糊视频帧插值：CVPR2020论文点评

模糊视频帧插值：CVPR2020论文点评

Blurry Video Frame Interpolation

论文链接：https://arxiv.org/pdf/2002.12259.pdf

摘要

现有的工作主要通过帧去模糊和帧内插两种方法来降低运动模糊和上变频帧率。然而，很少有研究涉及到联合视频增强问题，即从低帧速率的模糊输入中合成高帧速率的清晰结果。本文提出了一种模糊视频帧内插方法，可以同时降低运动模糊和上变频帧速率。具体地说，本文开发了一个金字塔模块来周期性地合成清晰的中间帧。金字塔模块具有可调的空间接收场和时间范围，从而有助于可控的计算复杂性和恢复能力。此外，本文还提出了一个金字塔间的递归模块来连接序列模型以利用时间关系。金字塔模块集成了一个递归模块，因此可以迭代合成时间平滑的结果，而不会显著增加模型的大小。大量的实验结果表明，本文的方法优于最新的方法。源代码和预先培训的模型可以在https://github.com/laomao0/BIN上找到。

1. Introduction

帧内插的目的是从捕获的帧中恢复未看到的中间帧[1，9，2，3]。它可以提高帧率，提高视觉平滑度。大多数最先进的帧插值方法[1，9，2]首先估计对象的运动，然后使用参考帧执行帧扭曲以合成像素。然而，如果原始参考帧被运动模糊降级，则运动估计可能不准确。因此，利用现有的帧插值方法恢复清晰的中间帧是一个挑战。考虑到运动模糊带来的上述问题，现有的一些方法通常采用一种预模糊过程[32，35，30]。一种简单的方法是进行帧去模糊，然后进行帧插值，本文称之为级联方案。然而，这种方法在插值质量方面是次优的。首先，插值性能高度依赖于去模糊图像的质量。在去模糊阶段引入的像素误差将传播到插值阶段，从而降低整体性能。其次，大多数帧内插方法都以两个连续的帧作为参考，即这些方法具有两个时间范围。然而，在级联方案中，由于不完全去模糊的帧，短时间范围内的插值模型很难保持相邻帧之间的长期运动一致性。另一种策略是先进行帧内插，然后进行帧去模糊。但是，整体质量会下降，因为插入的帧会受到输入的模糊纹理的影响，如图1所示。

在本文中，本文用一个单一的退化模型来描述联合视频增强问题。然后提出了一种模糊视频帧内插（BIN）方法，包括金字塔模块和金字塔间递归模块。金字塔模块的结构类似于由多个骨干网络组成的金字塔。金字塔模块灵活。随着尺度的增大，模型产生了更大的空间接收场和更宽的时间范围。flexible结构还可以在计算复杂性和恢复质量之间进行权衡。此外，本文采用循环损耗[17，27，38，6，34，26]来增强金字塔模块的输入帧和重新生成的帧之间的空间一致性。在金字塔结构的基础上，提出了一种有效利用时间信息的跨金字塔递归模块。具体地说，递归模块采用convlsm单元来跨时间传播帧信息。传播的帧信息有助于模型恢复细节并合成时间一致的图像。除了传统的恢复评估标准外，本文还提出了一种基于光流的方法来评估合成视频序列的运动平滑度。本文既使用现有的数据库，也使用从YouTube抓取的新合成数据集进行性能评估。在Adobe240数据集[30]和YouTube240数据集上进行的大量实验表明，与最新方法相比，所提出的BIN性能良好。

本文的主要贡献总结如下：

•本文通过探索摄像机与运动模糊和帧速率相关的内在特性，提出了联合帧去模糊和插值问题。

•本文提出了一种模糊v