2019-CVPR-上交-(DAIN)Depth-Aware Video Frame Interpolation

可以把30fps的进一步插帧到480fps（16倍插帧）
英伟达的Super SloMo只用在了真实拍摄的视频上，而这项研究却可以扩展到常见的任何类型视频：电影、定格动画、 动画卡通等等。

DAIN的全称是Depth-Aware Video Frame Interpolation，即深度感知视频帧插值。
提出了一种通过探索深度信息来检测遮挡的方法。
开发了一个深度感知光流投影层来合成中间流，中间流对较远的对象进行采样。此外，学习分层功能以从相邻像素收集上下文信息。

给定两个时刻的输入帧，先估计光流和深度图，然后使用建议的深度感知流投影层生成中间流。
然后，模型基于光流和局部插值内核对输入帧、深度图和上下文特征进行扭曲，合成输出帧。

DAIN延续了以往Flow-based视频插帧的基本框架，由5个sub-network和2个自定义的layer组成

DAIN分别使用PWC-NET和MegaDepth（hourglass结构）估计光流图和深度图

很多的flow vector可能会在 t tt 时刻同时经过同一个位置
本文提出了基于深度图的flow聚合
通过此方法，the projected flow倾向于从closer objects中采样像素，而减少被遮挡像素occluded pixels的贡献（occluded pixels有更大的深度值）。

Adaptive warping layer 是作者之前的文章中MEMC-NET[1]提出的，首先通过kernel estimation network在图像的每一个像素位置预测出一个4x4的kernel，与bilinear kernel结合起来完成新像素值的计算。

Frame Synthesis Network
此网络更多的