[ACMMM2021]SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer

标题：SOGAN: 3D-Aware Shadow and Occlusion Robust GAN for Makeup Transfer

链接：https://arxiv.org/pdf/2104.10567

本文的主要目的就是做妆容的转移，特色是使用了3DMM的先验，从而可以利用人脸的对称性来移除遮挡和阴影导致的错误

上图就是模型的结构，可以分为橘黄色框内和橘黄色框外两部分
橘黄色框外负责的就是3D人脸重建的部分，即提取2D图像的纹理UV图和形状信息，然后将纹理图输入橘黄色框，橘黄色框会输出一个妆容转移后的纹理图，之后和形状信息一起输入渲染器来渲染最终结果

橘黄色框内负责的就是妆容转移，分为三个部分：编解码器，翻转注意力模块（FAM），妆容迁移模块（MTM）
编解码器就是和自编码器一样，将纹理UV图降维成一组向量，然后将向量输入FAM和MTM进行更改，之后将更改后的向量解码为目标纹理图
FAM负责将输入的图像（参考人脸）翻转，然后给翻转前后的图像对输入图像都做一个叉乘得到相似度，之后相加来还原无遮挡，无阴影的参考图像
MTM负责将原始人脸与参考人脸融合，从而得到妆容迁移的最终结果

模型训练时使用的损失函数包括：
1.妆容损失：即区域性（嘴唇，眼影，面部）的直方图损失
2.感知损失：使用VGG-16的中间层输出做L2损失，保证身份一致性
3.循环重构损失：将输出结果再输入生成器，来还原原始图像，从而构建一致性损失
4.对抗损失：就是GAN的固有损失，判断图像是否真实