[CVPR2021]Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer

标题：Lipstick ain’t enough: Beyond Color Matching for In-the-Wild Makeup Transfer

链接：https://arxiv.org/pdf/2104.01867

本文的亮点在于引入了3D模型，将2D图像转换为UV map，从而获得输入脸和参考脸之间的对应性。另外，还额外设计了一套模型用于学习装饰性妆容（区别于修饰性妆容）

如上图所示，原始脸和参考脸都会用PRNet（一个3D重建模型）来提取UV纹理图。原始脸还会提取一个UV位置图，用于从UV纹理图到原始2D图的重构。

文中将妆容分成了两类：

颜色转移

即修饰性妆容，就是一般人们会画的妆容，用于修饰面部细节。具体的方式就是参考的BeautyGAN，用了对抗损失，循环一致性损失，感知一致性损失，像素直方图损失

模式转移

即装饰性妆容，比如面部涂鸦，面部纹身都属于此类，是将一些独立的图案画在人脸上。

由于作者将人脸都转化成了UV图，因此理论上只要知道这图案的位置后扣下来复制到原图像上就完事了。因此这个图像位置就是最重要的。因此这里作者要求模型预测一个语义分割mask来将这些独立图案抠出来。这里作者是用的一个单独的有监督数据集来训练的。

以上都做完了之后只需要把提取的图案添加到原图像妆后的UV图上就行了。然后我们将更新后的UV图按照一开始预测的UV位置图重新渲染成2D图像就可以得到最终的妆容图。