[VFI]A Unified Pyramid Recurrent Network for Video Frame Interpolation

视频帧插值的统一金字塔循环网络

Xin Jin1 Longhai Wu1 Jie Chen1 Youxin Chen1 Jayoon Koo2 Cheul-hee Hahm2
1Samsung Electronics (China) R&D Center 2Samsung Electronics, South Korea
paper, code, CVPR2023

Abstract

本文提出了一种新的用于帧插值的统一金字塔循环网络。在一个灵活的金字塔框架中，UPR-Net利用轻量级递归模块进行双向流估计和中间帧合成。在每个金字塔级别，它利用估计的双向流来生成帧合成的前扭曲表示；在金字塔层上，它支持光流和中间帧的迭代细化。

1. Introduction

Motivation

1. 在普通的flow引导合成pipeline中，光流通常由金字塔网络从粗到细估计，而中间帧仅由合成网络合成一次。尽管在低分辨率视频上有很好的性能，但这种做法错过了迭代细化高分辨率输入插值的机会。
2. 其次，对于大范围运动案例，一个重要的问题被以前的作品忽略了，尽管当估计的运动在视觉上是可信的时，在许多情况下，翘曲帧中明显的伪影（例如，前翘曲帧中的大孔）也会降低插值性能。
3. 最后，现有的方法通常依赖于较大的模型架构来实现良好的性能，不利于部署在资源有限的平台上，例如移动设备。

Contribution

1. UPR-Net允许在测试中定制金字塔级别的数量来估计非常大的运动。但是，它利用金字塔递归网络进行粗到细的帧合成，并在一个金字塔递归网络中统一运动估计和帧合成。
2. 证实了从粗到细的迭代合成可以显著提高帧插值在大运动情况下的鲁棒性。在高分辨率金字塔水平，前翘帧可能由于大的运动插值结果差。通过向帧合成模块提供从以前的低分辨率金字塔水平上采样的中间帧估计，这个问题可以被解决。
3. 光流和帧合成模块都是非常轻量级的。在每个金字塔层上，UPR-Net首先提取CNN特征，然后构造一个volume，同时进行双向流估计。它从正向扭曲的输入帧及其CNN特征中预测改进的中间帧，以及上采样的中间帧估计。

2. Related Work

Pyramid recurrent optical flow estimator

Coarse-to-fine image synthesis

Artifacts in warped frames

3. Our Approach

3.1. Unified Pyramid Recurrent Network

Fig. 2所示整体的UPR-Net。给定一对连续的帧$I_0,I_1$和期望的时间步长$t$（0≤t≤1），目标是合成不存在的中间帧$I_t$。UPR-Net通过跨$L$图像金字塔层的迭代细化过程完成任务，从顶层的下采样帧$I_0^{L-1}$和$I_1^{L-1}$，到原始输入帧$I_0^0$和$I_1^0$的底部（零）金字塔层。

在每个金字塔级别，UPR-Net使用一个特征编码器来提取两个输入帧的多尺度CNN特征。然后，利用双向flow模块对特征编码器最后一层的特征和上采样的光流进行处理，得到精细化的双向流。改进的光流用于前扭曲输入帧和多尺度CNN特征。将扭曲表示与上采样相结合，采用帧合成模块生成精细的中间帧。重复这个估计过程，直到在底部金字塔水平产生最终的插值。

3.2. Recurrent Frame Interpolation Modules

循环结构由三个轻量级模块组成： feature encoder, bi-directional flow module, 和frame synthesis module。

Feature encoder.
在每个金字塔层次上，首先使用一个特征编码器来提取输入帧的多尺度特征。特性编码器有三个卷积阶段：阶段0、阶段1和阶段2。每个阶段由四个卷积层组成，第1阶段和第2阶段的第一层进行降采样。使用来自每个阶段的最后一个卷积层的特性。

Bi-directional flow module.

设$F_{0\to 1}^{l+1}$和$F_{1\to 0}^{l+1}$表示$l+1$级的细化双向光流。在第1个图像金字塔层，首先通过×2上采样$F_{0\to 1}^{l+1}$和$F_{1\to 0}^{l+1}$：${\hat{F}}_{0\to 1}^l=u{p}_2(F_{0\to 1}^{l+1})$，${\hat{F}}_{1\to 0}^l=u{p}_2(F_{1\to 0}^{l+1})$来初始化双向流。特别是，在顶层的初始流量被设置为零。基于初始流，通过线性缩放获得从输入帧$I_0^l$和$I_1^l$到隐藏的中间帧$I_{0.5}^l$的光流：$F_{0\to 0.5}^l=0.5\cdot {\hat{F}}_{0\to 1}^l$, $F_{1\to 0.5}^l=0.5\cdot {\hat{F}}_{1\to 0}^l$。

使用${\hat{F}}_{0\to 0.5}^l$和${\hat{F}}_{1\to 0.5}^l$，将CNN的特征$C_0^{l,2}$和$C_1^{l,2}$向前扭曲到中间帧，以对齐它们的像素。然后，利用翘曲特征构造了一个偏相关体积，并使用一个6层CNN来预测重新定义的双向流$F_{0\to 1}^l$和$F_{1\to 0}^l$。特别是，CNN预测器的输入是相关体积、扭曲特征、初始流${\hat{F}}_{0\to 1}^l$和${\hat{F}}_{1\to 0}^l$的连接，以及来自之前金字塔级CNN预测器第5层的上采样特征。由于扭曲特征的输入帧分辨率为1/4，因此预测的光流分辨率也为1/4。使用双线性插值法将光流上采样到原始尺度。

Frame synthesis module.

视频帧合成模块是基于一个U-Net结构的。编码器部分有三个卷积阶段，每个阶段由三个卷积层组成，第二阶段和第三阶段的第一层进行降采样。解码器部分也有三个卷积阶段，其中有两个转置卷积层用于上采样。

在金字塔$l$级，给定细化的双向流$F_{0\to 1}^l$和$F_{1\to 0}^l$，通过线性缩放获得从输入帧$I_0^l$和$I_1^l$到目标帧$I_t^l$的光流：$F_{0\to t}^l=t\cdot F_{0\to 1}^l,F_{1\to t}^l=(1-t)\cdot F_{1\to 0}^l$。使用$F_{0\to t}^l$和$F_{1\to t}^l$，向前扭曲输入帧$I_0^l$、$I_1^l$，以及它们的多尺度上下文特性 { C 0 l , 0 , C 1 l , 0 } \{C^{l,0}_{0}, C^{l,0}_{1}\} {C0l,0​,C1l,0​}、 { C 0 l , 1 , C 1 l , 1 } \{C^{l,1}_{0}, C^{l,1}_{1}\} {C0l,1​,C1l,1​}、 { C 0 l , 2 , C 1 l , 2 } \{C^{l,2}_{0}, C^{l,2}_{1}\} {C0l,2​,C1l,2​}。此外，通过对之前的$l+1$水平的插值进行上采样，生成中间帧的初始估计${\hat{I}}_t^l$：${\hat{I}}_t^l=u{p}_2(I_t^{l+1})$。在顶层，初始估计被设置为两个扭曲帧的平均值。在此基础上，向合成模块的第一个编码器阶段提供了扭曲帧、中间帧${\hat{I}}_t^l$的初始估计、原始输入帧和缩放双向流$F_{0\to t}^l$和$F_{1\to t}^l$。将扭曲的上下文特征提供给第二个和第三个编码器阶段，以及第一个解码器阶段，以提供多尺度的上下文线索。

帧合成模块的输出包括两个映射$M_0^l$和$M_1^l$，用于融合两个正向弯曲的帧$I_{0\to t}^l$和$I_{1\to t}^l$，以及一个剩余图像$\Delta I_t^l$，用于进一步细化。得到细化的中间帧$I_t^l$通过：
$$I_t^l=\frac{(1-t)\cdot M_0^l\odot I_{0\to t}^l+t\cdot M_1^l\odot I_{1\to t}^l}{(1-t)\cdot M_0^l+t\cdot M_1^l}+\Delta I_t$$
$\odot$表示元素级相乘。

大范围运动的迭代综合分析。

对于普通合成，实际的合成只在底层执行，因为在以前的水平上的插值没有路径来影响底层的框架合成。通过综合比较插值帧，在大运动情况下的一般综合和迭代综合，得出以下经验结论。

1. 当使用平面合成进行插值时，由于前向翘曲帧中的大运动而产生的明显伪影可能会导致插值帧中明显的伪影。图5显示了一个典型的示例。
2. 粗到精细的迭代合成支持稳健的插值，即使扭曲的帧也有明显的伪影（见图5）。假设在较低分辨率的金字塔水平上合成的上采样插值，由于较小的运动幅度，可能有较少或没有伪影。因此，它可以指导合成模块在更高分辨率水平上产生鲁棒插值。
3. 假设得到了图6中所示的证据的支持，其中对降低的分辨率插值了相同的例子。我们发现，在1/8的分辨率下，普通合成也提供了良好的插值，因为运动幅度要小得多。迭代合成在所有尺度上都提供了良好的插值，因为它利用了来自低分辨率级别的插值。
   

5. Experiment