Image Inpainting for Irregular Holes Using Partial Convolutions论文阅读笔记

这是一篇2018年发表在ECCV上的论文，作者团队是NVIDIA Corporation。
之前总结的两篇文章Globally and Locally Consistent Image Completion和Context Encoders: Feature Learning by Inpainting都用到了CNN进行语义的提取，然而这些方法没有区分完整的区域和被遮盖的区域（masked holes），导致了卷积计算的浪费以及对两部分区域的不敏感，通常会导致色差和模糊。本篇论文提出了Partial convolutions，卷积被部分遮盖，仅在有效的像素上起作用。同时提出了一种方法用于自动生成下一层的更新掩码，作为前向传递的一部分。

• Partial Convolution Layer

$$x^{\prime }=\{\begin{array}{ll}{\mathbf{W}}^{\top }(\mathbf{X}\odot \mathbf{M})\frac{sum(1)}{sum(\mathbf{M})}+b,& \text{if }sum(\mathbf{M})>0\\ 0,& \text{otherwise }\end{array}$$
其中$W$是卷积核的权重，$b$是偏置，$X$是当前要被卷积的特征图，$M$是对应的二值掩码图（跟卷积核一样大小），1对应完好的区域，0对应损坏的区域。$1$指的是跟$M$有相同形状且元素全是1的张量。由此可以看出，输出的值只依赖于未遮盖的区域的像素。用$\frac{sum(1)}{sum(\mathbf{M})}$来调整缩放。
用这种方法卷积完一次后，我们要更新我们的mask，只要上一步的$M$的区域中（例如3*3）有一个元素为1，就将该次卷积中该区域（该3*3区域）$M$的中心元素设为1，反之则为0。
$$m^{\prime }=\{\begin{array}{ll}1,& \text{if }sum(M)>0\\ 0,& \text{otherwise }\end{array}$$

Partial Convolution as Padding. We use the partial convolution with appropriate masking at image boundaries in lieu of typical padding . This ensures that the inpainted content at the image border will not be affected by invalid values outside of the image – which can be interpreted as another hole.

作者选择不使用传统的填充方式，而是采用部分卷积并在图像边界使用适当的掩膜。通过这种做法，可以确保在图像边界进行修复或补全操作时，不会受到图像外部无效值（比如缺失区域或边界填充）的干扰。这样可以避免修复结果受到填充的影响，提高修复的准确性和质量。

Network Design. We design a UNet-like architecture [25] similar to the one used in [11], replacing all convolutional layers with partial convolutional layers and using nearest neighbor up-sampling in the decoding stage. The skip links will concatenate two feature maps and two masks respectively, acting as the feature and mask inputs for the next partial convolution layer. The last partial convolution layer’s input will contain the concatenation of the original input image with hole and original mask, making it possible for the model to copy non-hole pixels. Network details are found in the supplementary file.

网络结构：使用类似于UNet的网络结构，将其中所有的传统卷积换成部分卷积。
论文中的结果展示：

参考文献：

1. Image Inpainting for Irregular Holes Using Partial Convolutions