1. Motivation
- 以前的方法会产生 artifacts,需要后处理,且效果不是很好;
- 过去的方法集中关注位于图像中间的矩形空缺,会导致过拟合。
2. Approach
2.1 Partial convolutional layer
W是卷积核,X是当前窗口图像或者 feature map,M是X对应的 mask,1 是和 M尺寸相同的矩阵,只是 1中的元素全为1。
mask更新的方法,只要当前窗口有一个位置的 mask值为1,则新生成的 mask的值等于1,mask会随着网络的深度越来越小。
2.2 Loss function
- per-pixel losses:
- perceptual loss:
ImageNet-pretrained VGG-16每层的特征,。
- style losses:
- TV loss:
- final loss:
3. Disscussion
我认为这篇文章的创新点就是通过更新 mask,区别feature map里不同的区域,保留更多有效的信息,简单的方法实现了很好的效果,很强的一篇文章,大佬。
上图展示的是一些失败的例子,可以看出,这篇文章对一些稀疏结构图片的修复效果很差。
源代码:https://github.com/NVIDIA/partialconv
4. References
【1】Liu, Guilin, et al. "Image inpainting for irregular holes using partial convolutions." Proceedings of the European Conference on Computer Vision (ECCV). 2018.