CVPR2019｜Depth-Aware Video Frame Interpolation【论文阅读笔记】

作者

Wenbo Bao, Wei-Sheng Lai, Chao Ma, Xiaoyun Zhang, Zhiyong Gao, Ming-Hsuan Yang

相关链接

• Paper:https://openaccess.thecvf.com/content_CVPR_2019/papers/Bao_Depth-Aware_Video_Frame_Interpolation_CVPR_2019_paper.pdfl
• Code:https://github.com/baowenbo/DAIN
• Supp:https://openaccess.thecvf.com/content_CVPR_2019/supplemental/Bao_Depth-Aware_Video_Frame_CVPR_2019_supplemental.pdf
• Webpage:https://sites.google.com/view/wenbobao/dain

1.前言

这篇论文应该算是视频插帧任务比较好的benchmark了，github上的star已经超过6k了，而且似乎作者也基于此开发了个插帧软件，可以进行一键插帧，算是落地非常好的算法了。该论文的工作，一个关键点就是将深度信息融合到帧生成过程中，更好地克服遮挡问题。
由此作者提出了一种可以通过挖掘深度信息来检测物体遮挡的插帧方法。

2.介绍

虽然CNN的兴起有效提高了视频插帧的效果，但是当遇到巨大的运动或者遮挡的时候，插帧的质量往往会急剧下降。

3.算法

• Flow estimation
• Depth estimation
• Context extraction
• Kernel estimation and adaptive warping layer
• Frame synthesis
• 实施细节

4.实验

码字不易，如果您觉得有帮助，欢迎点赞和收藏~~