原文连接:Contextual-based Image Inpainting: Infer, Match, and Translate (ECCV 2018). Song, Y., Yang, C., Lin, Z., Liu, X., Huang, Q., Li, H., & Jay Kuo, C. C. [Paper]
本文创新点:提出了特征重组(Patch-swap)。
网络结构及损失函数
网络主要由三个部分构成:推理、匹配和翻译。
推断(Inference):用Image2Feature网络对内容粗糙的不完整图像进行填充推理,并用 VGG 网络提取特征图。
匹配(Matching):在特征图上使用patch-swap来匹配neural patches。
翻译(Translation):使用Feature2Image网络将特征映射转换为完整的图像。
Image2Feature Network
Image2Feature网络的目标是用粗略的预测来填补空白。
整体损失函数:
感知损失:
其中, 为权重掩码。
对抗损失:
Patch-swap
Patch-swap的主要目的是对特征进行转换,将特征F1 转换成F1' 。计算像素块之间的相似度,并用最高相似度的像素块进行替换。在实践中,用卷积来计算像素块之间的相似度。
Feature2Image Translation Network
Feature2Image 网络的目标就是将特征图转换成完整清晰的图像。
整体损失:
感知损失:
对抗损失:
总结
优点:
- 可以修复任意大小,孔洞任意形状的图片;
- 可以将网络应用到其他任务上,如风格迁移;
缺点:无法修复结构复杂,缺少对象主体部分的图像;