VIDEO INPAINTING OF COMPLEX SCENES

VIDEO INPAINTING OF COMPLEX SCENES

Alasdair Newson† ‡, Andr´es Almansa ‡, Matthieu Fradet †, Yann Gousseau ‡, and Patrick P´erez †

文章链接
代码链接

摘要：
　　提出patch-based的全局优化自动视频修复算法，能够处理各种各样视频中自然出现的情况，比如重构动态纹理、运动目标、运动背景，并且计算时间与最好的算法相比少了一个数量级，在高清视频中也取得了一个好的质量效果。该算法除了手动输入视频修复标注外不需要进行分割或者其他操作，可以处理更广泛的多种情况。

1、简介

　　先进的图像和视频编辑技术越来越多的应用在图像处理和计算机视觉领域中。一个普遍困难的任务是图像视频‘inpainting’，说白了，就是用其他内容替换需要修复的内容，并且视觉上能够接受。在图像修复中，已经进行广泛研究，并且已有商业产品。然而由于视频的时间维度必然会增加修复的时间复杂度，因此在视频修复中的研究还远远不及图像修复。获得高质量的视频修复同样重要，如电影恢复，影视的后期处理，个人应用等。

1.1 前期工作

　　视频修复算法有基于目标和基于块两类，object-based算法一般将视频分割为移动目标前景和静止或者简单运动的背景。背景修复一般用图像修复方法，而移动的目标尽量平滑的复制到occlusion(损坏区域)，然而这类方法有限制性假设，比如严格的周期性。Patch-based方法为将小的视频patch填充到损坏区域，这些块提供了局部纹理，结构和运动的可行的编码方法。
　　块方法首先被提出并成功的应用在图像修复上，其核心思想为以greedy fashion方式将块复制粘贴到损坏区域，而保证不了解的全局一致性。随后该方法进一步改进，但一个事实是，得到一个好的修复效果前提是将图像很好的分割成移动目标前景和背景。缺少全局一致性是个劣势，尤其是修复移动目标。
　　另外一种块方法的主要观点为将修复看成是一种标签问题：每一个损坏中的像素跟非损坏区域中的像素相关，最后像素的标签为一个离散的优化过程。该方法的搜索空间跟时间复杂度都很大。
　　还有一种思想是启发式的迭代求解一个全局优化问题，这样可以保证全局一致性，类似于非局部去噪。
　　本文参考了non-local patch-based方法。在视频修复中，高维度问题使得此类方法相当慢，尤其是邻域搜索方法，往往要几天时间。本文结合前期的工作，给出一个灵活有潜能的non-local patch-based方法。

1.2 本文的概要跟贡献

• 加速邻域搜索方法，将扩展的Patch-match算法应用在时空域情况
• 提出块距离的纹理特征以正确的修复视频纹理
• 对于明显的运动进行仿射估计来处理移动背景问题
• 仔细的描述了初始化方法
• 给出多分辨率组合实现细节

2、框架跟符号

　　本文算法为交替求解全局块优化函数，分两步进行：第一步为搜索损坏区域块的最近邻域块；第二步为根据最近邻域块信息重构。
　　符号
　　

　　$u :Ω→R^3$表示彩色视频内容，$Ω$为时空域；定义$Ω$上的某点$p = (x, y, t) ∈Ω$，则$u(p) ∈ R^3$为该位置的视频彩色值；$H$表示损坏区域的数据集，$D$为正常区域的数据集，$Ω= H∪D ，H∩D =∅$；$N_p$表示$p$点的邻居；以$p$为中心点的视频块定义为$3×N$ 的向量$W^p_u =(u(q1)…u(qN))$, 其中$N$个像素属于$N_p$,