(插帧)2020-ArXiv-旷视&北大-RIFE：Real-Time Intermediate Flow Estimation for Video Frame Interpolation

贡献：
能够720p实时视频插帧

现有视频插帧大多先估计双向光流，然后采用线性组合方式近似中间流，然而这种处理方式会在运动边界区域产生伪影问题。

提出了一种新颖而有效的IFNet直接估计中间流信息并用于视频插帧，可以通过连续两帧输入估计中间帧的光流信息。
RIFE是首个基于光流的实时视频插帧方案，它能够以30fps对720p视频进行插帧。

 只估计一次光流Ft->0

 

为更好处理大运动，IFNet采用了“Coarse-to-Fine”方式逐渐提升分辨率，也就是先在低分辨率上计算“粗糙”的光流，然后在高分辨率上计算“精细”光流。这也是目前光流估计中常用的一种处理方式。

IFNet的光流更为清晰、锐利；同时线性组合后光流存在更少的重叠和模糊现象。

IFNet只需进行一次光流估计，而双向光流估计则需要进行两次估计。
为消除变换帧的伪影问题，作者将输入帧、光流、变换帧（warp帧）同时送入到到FusionNet中进行重建。