2019-ICCV-台湾大学-Free-form Video Inpainting with 3D Gated Convolution and Temporal PatchGAN

高清还原破损视频  BMVC 2019

每个被破损的视频，经过AI还原之后，仿佛从来没有被破坏过一样，完整清晰。

可学习的门控时移模块，Learnable Gated Temporal Shift Module，LGTSM

整体的模型则是由U-net类生成器和TSMGAN鉴别器构成，LGTSM模块所处的位置就是生成器内，除此之外生成器还包括11个卷积层。

基于YouTube视频制作的FaceForensics和FVI数据集，总共视频数量超过16000个。

在两个数据集上，LGTSM和目前成绩最好的3DGated非常接近，但参数的数量却只有前者的三分之一。
https://www.qbitai.com/2019/07/5449.html

已有patch-based方法，能够处理好规则形状的空洞，但处理不好不规则形状的空洞。
设计了一个基于3D Gated convolution层的生成器（13层网络），结合相邻帧信息，3D Gated convolution可以进行更精确地修补不规则的masked图像区域，并且不影响到原本就是好的unmasked图像像素。

已有的image inpainting方法，处理视频的空洞会产生时域不一致的问题。
设计了一个基于Temporal PatchGAN的鉴别器，惩罚高频的spatial-temporal特征，提升时域的一致性。

利用生成器来修复出尽可能真实的图片，利用鉴别器来识别出修复后图片的真假。

代码：

2019-ICCV-台湾大学-(3DGated)Free-form Video Inpainting with