论文笔记-BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

一、背景介绍

时间分辨率是影响视频质量的一个重要因素。为了提高时间分辨率，已经提出了许多视频插值算法，它们合成两个实际帧之间的中间帧。这些算法广泛应用于各种应用，包括视觉质量增强、视频压缩、慢动作视频生成和视图合成。然而，由于各种因素，如大的非线性运动、遮挡和光照条件的变化，视频插值具有挑战性。特别是，为了产生高质量的中间帧，精确地估计运动或光流矢量是重要的。

最近，随着基于深度学习的光流方法的发展，已经开发了基于流的视频插值算法，产生了可靠的插值结果。Niklaus等基于前向扭曲生成中间帧。然而，由于孔洞和重叠像素问题，前向扭曲可能导致插值伪影。为了克服这一点，其他方法利用了后向扭曲。为了使用向后弯曲，应该获得中间运动。基于双向运动估计的各种视频插值算法根据两个输入帧之间的光流近似这些中间运动。然而，这种近似可能会降低视频插值结果。

二、相关工作

视频插值的目的是通过合成两个实际帧之间的中间帧来增强低时间分辨率。随着神经网络在各种图像处理和计算机视觉任务中的巨大成功，许多基于深度学习的视频插值技术得到了发展。Long等人开发了一个CNN，它以一对帧为输入，然后直接生成一个中间帧。然而，他们的算法产生严重的模糊，因为它不使用运动模型。相位网络是使用基于相位的运动表示提出的。尽管它对闪电变化或运动模糊产生鲁棒的结果，但它可能无法忠实地重建详细的纹理。尼克劳斯等人提出了基于核的方法，为每个像素估计自适应卷积核。基于内核的方法产生合理的结果࿰