[CVPR2020]PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

标题：PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer

链接：https://arxiv.org/pdf/1909.06956

本文的亮点是将注意力机制引入了妆容迁移之中。

引入注意力机制的好处如下：

1.上妆效果更鲁棒，因为考虑了像素到像素之间的对应关系，例如如果参考图片和输入图片表情不同，或者角度不同，这样就会很有用

2.可以通过修改妆容矩阵来融合多个妆容，部分上妆，改变妆容浓艳度

PSGAN

如图A所示，这就是模型的整体结构。具体来说，使用MDNet和MANet的前半部分抽取图片的中间向量（和输入图片尺寸一样的二维矩阵），然后使用AMM对中间向量做attention对两个图片进行融合（也就是对输入图片进行上妆），再输入MANet的后半部分，从而获得最终结果。

AMM模块

如图B所示，由于直接对两张图片做attention不现实，因此作者先检测出两张图片的landmark，然后判断landmark所在的点对另一张图片每个像素点的影响，从而做加权，得到加权后的特征图。

C图中就是注意力机制的一个形象展示。

损失函数

对抗损失：GAN的基本损失函数，判断图像真不真实

cycle consistency loss：CycleGAN提出的损失

感知损失：图片输入VGG-16后特征的相似度

妆容损失：BeautyGAN中提出的直方图损失