Generative Face Completion
CVPR 2017
https://arxiv.org/abs/1704.05838
Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion
首先来直观的认识一下人脸修复是什么? 输入一个有缺失的人脸图像,得到完整的人脸图像
本文算法训练流程图如下:
主要由三个模块构成:Generator,Discriminator,Parsing network
3.1. Generator
这里的 Generator 被设计为一个 autoencoder,输入不完整的图像,输出修复后的图像。这里我们使用了 VGG19的前半部分网络结构,外加2个卷积层,一个池化层,一个全链接层。decoder 和 encoder 是对称的,使用了 unpooling 层 用于放大特征图尺寸
3.2. Discriminator
这里使用了两个 Discriminator,一个 local Discriminator, 一个 global Discriminator
local Discriminator 是针对 缺失图像区域的
global Discriminator 是针对整个图像区域的
3.3. Semantic Regularization
这里的 Parsing network 主要用于进一步完善缺失区域的生成图像的真实性。
不同损失函数下修复的结果:
有无 Parsing network 的对比:
修复结果:
Model limitations