High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

在这里插入图片描述
CVPR 2017的文章,听说非常牛逼,后来很多方法都是借鉴了这个方法。

  • 全局上下文和局部纹理共同约束来使用cnn方法进行补全
  • 为了补全高分辨率的图像,从小分辨率开始向高分辨率进行多尺度逐尺度的恢复
  • 利用了与训练模型中间层特征图构造损失来辅助补全任务。

The Approach

在这里插入图片描述

framework overview

The joint loss function

  • x 0 x_0 x0 输入图像
  • x x x 期望输出图像
  • R 表示图像x中的洞
  • R f y R^{fy} Rfy 表示vgg19网络的特征图 f y ( x ) fy(x) fy(x)的对应的洞区域
  • f y ( x ) fy(x) fy(x) x的特征图
  • h(.) 表示提取矩形子图或子特征图的操作
  • f 表示内容网络
  • t 表示纹理网络

例如
h(x, R) 返回 x图像R区域的内容
h(fy(x), Rfy) 返回特征图对应Rfy区域内容

对于每个尺度i,最佳的重建结果通过最小化如下来获得:
在这里插入图片描述

第一项
在这里插入图片描述

第二项
在这里插入图片描述
Pi 表示局部以i为中心的nerual patch,
nn(i):
在这里插入图片描述
N(i) 是i的邻居

第三项
在这里插入图片描述

the content network

两部分,像素的l2损失和判别器损失
在这里插入图片描述

在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值