1. Motivation
以前的图像补全算法都是从已知区域中复制 pattern,当补全对象是人脸时,图像拥有相似 pattern的假设不成立。
2. Approach
2.1 Network architecture
- Generator:生成器就是常见的 Encoder-decoder结构;
- Discriminator:判别器有两个, Global discriminator和 Local discriminator,与 Globally and Locally Consistent Image Completion 【1】这篇论文不同的是,这里并没有将局部与整体的特征 concat,而是使用了两个网络;
- Semantic regularization: Global discriminator不能很好的保持生成图像整体的一致性,所以增加了一个 Parsing network,进一步保证生成图像整体的一致性。
2.2 Loss function
重构损失:生成图像与原图的L2范数
对抗损失:GAN的损失函数(两个判别器)
解析损失:softmax损失
最终的损失函数:
3. Disscussion
- 创新点:我认为这篇文章的主要创新点是使用一个语义解析的网络,保证生成图像与原始图像在语义上的一致,增强生成图像的整体性;
- 存在的问题:从图中可以看出,这篇文章中的方法不能很好的处理未对齐的人脸,此外不能很好的利用空间中相邻像素之间的信息;
- 一点理解:对于图像补全而言,我们的目标是使生成图像尽可能的接近原始图像,对应到网络中就是 Loss function,损失函数会知道网络生成我们想要的图像,所以如何用数学的语言给出生成图像尽接近原始图像的约束很关键,不只是简单的。对于GAN有另一种理解,可以将之看作为一个普通的神经网络,只不过它的 Loss也是变化得,Loss function是一个或多个网络,这些网络会不断变化。
- 源代码:https://github.com/Yijunmaverick/GenerativeFaceCompletion
4. References
【1】Iizuka, Satoshi, Edgar Simo-Serra, and Hiroshi Ishikawa. "Globally and locally consistent image completion." ACM Transactions on Graphics (ToG) 36.4 (2017): 1-14.
【2】Li, Yijun, et al. "Generative face completion." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.