一,faceswap-GAN的原理
训练阶段:
faceA编码,再通过A解码还原。faceB编码,再通过B解码还原。A/B一个编码器,A/B使用不同的解码器。可以理解为,编码是提取脸部的共性特征。解码是还原脸部的个性特征,所以A/B使用不同的解码器。
测试阶段:B的脸通过编码器后,由A的解码器还原,结果就是B的脸看起来像A,实现换脸动作。
二,faceswap-GAN的算法
编码器:五次卷积部分实现的脸部特征的提取,全连接层后进行一次反卷积实现共性特征的恢复。
解码器:
连续四次反卷积恢复个性特征,再透过残差网络实现特征融合,最终输出。
分辨器:
输入为原图与解码后的图,通过分辨网络,实现对抗。提升编码与解码能力。