《DFC-Net：Deep Flow-Guided Video Inpainting》论文笔记

参考代码：DFC-Net

1. 概述

导读：这篇文章分析的是视频领域的inpainting，这篇文章充分使用了视频内在的空间（指一帧图像中的内容）与时序（不同视频帧）信息，以及视频帧之间生成的光流信息实现了一个保持视频内在连续的修补方法，文章将其称为DFC-Net（Deep Flow Completion network）。该方法首先通过前后视频帧之间的光流关系推断缺失区域的合成光流估计信息（估计光流信息比直接估计缺失部分的RGB信息更为简单）。之后后续的pipline根据这个合成光流估计信息引导视频中与缺失区域相关的信息去进行填充，并且光流估计这个过程通过一个coarse-to-fine的逐渐优化过程的（后面包含两个级连优化），其中还会使用类似困难样本挖掘的hard flow example mining方法去进一步优化生成的结果。文章的方法整体上采用CNN的pipline从而避免了填充过程中进行优化的问题，并且inpainting的效果也能得到保证，兼顾了速度与修补质量。

在之前的工作中，对于视频缺失目标的处理采用的方法有：

• 1）采样之后最小化问题：这是通过在spatial与spatial-temporal上进行采样之后将已知区域的信息贴到位置区域上之后再通过优化算法进行优化，但是这样的方法处理起来计算量大并且对于视频场景复杂的时候效果就很差，见图1的b图所示；
• 2）基于单图inpainting的迁移：这类方法是使用单张图像的inpainting算法引入到视频领域中，一方面直接使用图片的方法会导致修复的效果较差。另一方面通过3D卷积实现的修补方式对于视频序列而言在显存上就不存在计算可行性，这类方法的效果见图1的c图所示；

而在这篇文章中将光流信息引入，使用一个光流信息估计网络去估计缺失的光流信息（相对来说容易），之后进而使用估计出来的光流信息去引导缺失部分信息的补全，这个过程是级连coarse-to-fine的，并且还引入了hard flow example mining的方法进一步提升补全的性能，其结果见图1的d图所示。

2. 方法设计

2.1 网络pipline

文章的算法流程主要包含两个步骤：

• 1）由帧间的光流信息与缺失区域的mask信息得到较为粗略的stage1光流估计；
• 2）通过基于flow propagation guided方式可以将已知区域的信息迁移到未知区域实现补全，这个过程是在stage2和stage3中逐渐优化的；

经过上面两个步骤之后，若是还存在未被不全的区域，那么便会使用基于学习的方法进行补全（基于GAN的）。算法的整体流程见下图所示：

2.2 DFC-S（Deep Flow Completion Subnetwork）模块

这部分网络适用于使用视频中的已知光流信息去估计缺失区域的光流信息。为了提升对缺失部分光流信息的估计精度，这里使用了多个视频帧的形式，其输入包含两个部分：

• 1）连续视频帧中抽取出来的光流信息，每个光流信息包含x和y两个方向；
• 2）指示未知区域的二值mask图，用于标注未知区域；

其具体的输入构成为：若使用$f_{i\to (i+1)}^0$表示索引为第$i$帧到第$i+1$的光流信息（包含x和y两个方向，为两个通道的信息），$M_{i\to (i+1)}$表是对应的缺失二值掩膜，对于缺失区域的光流信息$f_{\ast }^0$是通过向内通过已知边缘部分的光流信息插值得到的。那么对于第$i$帧的光流信息估计是通过前后$k=5$帧的信息组合求解的，那么即是将$f_{(i-k)\to (i-k+1)}^0,\dots ,f_{i\to (i+1)}^0,\dots ,f_{(i+k)\to (i+k+1)}^0$和 { M i − k , … , M i , … , M i + k } \{M_{i-k},\dots,M_i,\dots,M_{i+k}\} { Mi−k​,