CVPR2021系列（四）—— 深度视频抠图

01 背景

抠图是图像处理里的重要技术之一，被广泛应用于图片/视频编辑，影视制作等实际场景中。传统的抠图技术利用图像的色彩等底层特征来分离前景，但其效果受制于底层特征的有限表达能力。随着深度学习的发展，深度神经网络被应用于抠图技术中，从深度网络提取的高层语义特征能够从复杂场景中准确区别前后背景，从而极大地提升了抠图效果，基于深度学习的图像抠图技术也因此成为主流的图像抠图技术。近年来，短视频的大热进一步催生了更复杂的视频抠图的需求，如何提升视频抠图效果也成为了时下的重要课题之一。

抠图问题可以用公式  定义，即图片  是前景  和背景  的加权和，其中权重也被称为透明度或Alpha，是抠图问题中的待求解变量。给定一张图片，由于前景和背景未知，因此对Alpha的估值是一个不适定问题，Trimap图通常作为额外输入来限定求解空间。Trimap是一个三类别的掩膜，用来指定确定的前景、背景以及未知的区域，而未知区域就是需要估值的区域。在实际应用场景中，Trimap可以来源于用户输入，特定场景下也可以由