CVPR 2017的文章,听说非常牛逼,后来很多方法都是借鉴了这个方法。
- 全局上下文和局部纹理共同约束来使用cnn方法进行补全
- 为了补全高分辨率的图像,从小分辨率开始向高分辨率进行多尺度逐尺度的恢复
- 利用了与训练模型中间层特征图构造损失来辅助补全任务。
The Approach
framework overview
The joint loss function
- x 0 x_0 x0 输入图像
- x x x 期望输出图像
- R 表示图像x中的洞
- R f y R^{fy} Rfy 表示vgg19网络的特征图 f y ( x ) fy(x) fy(x)的对应的洞区域
- f y ( x ) fy(x) fy(x) x的特征图
- h(.) 表示提取矩形子图或子特征图的操作
- f 表示内容网络
- t 表示纹理网络
例如
h(x, R) 返回 x图像R区域的内容
h(fy(x), Rfy) 返回特征图对应Rfy区域内容
对于每个尺度i,最佳的重建结果通过最小化如下来获得:
第一项
第二项
Pi 表示局部以i为中心的nerual patch,
nn(i):
N(i) 是i的邻居
第三项
the content network
两部分,像素的l2损失和判别器损失