论文阅读——Contextual-based Image Inpainting: Infer, Match, and Translate

原文连接:Contextual-based Image Inpainting: Infer, Match, and Translate (ECCV 2018). Song, Y., Yang, C., Lin, Z., Liu, X., Huang, Q., Li, H., & Jay Kuo, C. C. [Paper]

本文创新点:提出了特征重组(Patch-swap)。

网络结构及损失函数

网络主要由三个部分构成:推理、匹配和翻译。

推断(Inference):用Image2Feature网络对内容粗糙的不完整图像进行填充推理,并用 VGG 网络提取特征图。

匹配(Matching):在特征图上使用patch-swap来匹配neural patches。

翻译(Translation):使用Feature2Image网络将特征映射转换为完整的图像。

Image2Feature Network

Image2Feature网络的目标是用粗略的预测来填补空白。

 整体损失函数: 

感知损失:

 其中, 为权重掩码。

对抗损失:

 Patch-swap

Patch-swap的主要目的是对特征进行转换,将特征F1 转换成F1' 。计算像素块之间的相似度,并用最高相似度的像素块进行替换。在实践中,用卷积来计算像素块之间的相似度。

 

 Feature2Image Translation Network

Feature2Image 网络的目标就是将特征图转换成完整清晰的图像。

整体损失: 

 

 感知损失:

 

 对抗损失:

 

总结

优点:

  1. 可以修复任意大小,孔洞任意形状的图片;
  2. 可以将网络应用到其他任务上,如风格迁移;

缺点:无法修复结构复杂,缺少对象主体部分的图像;

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值