​AAAI 2022：SSAT，一个对称的语义感知的妆容迁移与移除网络｜AI Drive

本期 AI Drive以SSAT: A Symmetric Semantic-Aware Transformer Network for Makeup Transfer and Removal（AAAI2022）为汇报内容，讲述妆容迁移的研究目标与背景知识，阐明语义对应作为本文创新点在妆容迁移领域的主要贡献，对比现有最先进工作说明本文方法的优越性，最后还公开了训练好的模型与测试代码，为其他感兴趣的研究者提供研究基础。

主讲人为孙朝阳，本硕博均就读于武汉理工大学计算机与人工智能学院，目前博一。从19年研二开始接触深度学习，目前主要研究方向为妆容迁移和语义分割，已发表CCFA1篇（AAAI一作），CCFC1篇（ACCV一作）。

本文将按照如下五个方向进行讲解（本文ppt，“数据实战派”按后台菜单指示即可获得下载地址，关注视频号“AI Drive”可获得回放）：

一、妆容迁移的研究背景。
二、妆容迁移的相关工作及本文想法的产生。
三、想法的代码实现。
四、实验结果分析。
五、科研研究心得。

一、妆容迁移的研究背景

妆容迁移是一个比较小的领域，本节会介绍什么是妆容迁移以及妆容迁移的主要任务是什么。

妆容迁移的任务中，它的输入是一张未化妆的目标图像，和一张任意妆容的参考图像，目标是合成一张新的图像，该图像具有参考图像的妆容风格，同时又保留目标图像的人物身份、表情、姿态、背景等内容信息。

那么，美图秀秀以及各种美颜相机，它不是已经有了这种妆容迁移的功能了吗？

这里需要解释的是，我们做的是一种参考图像的任意妆容迁移。比如给出任意一张图像，它含有一些妆容，需要把这些妆容迁移过去。而美图秀秀及各种美颜相机，它只有特定的几款指定的妆容可以迁移，这是我们所做的与一些现有APP的差异。

它主要有哪些应用方面？如果大家有女朋友或者自己是个女孩子，对化妆品应该不是很陌生，从古代的时候的胭脂水粉到现在的口红眼影以及各种粉底，化妆品一直备受女性用户的广泛喜爱。

据国家统计局的一些数据报告，从2015年到2019年，我国化妆品零售业一直在飞速的增长，即使在疫情期间零售业一直保持快速增长。

妆容迁移的应用方面是很广泛的，比方说电商的试装，在淘宝或者京东去买口红的时候，是想跟买衣服一样试穿一下衣服的效果是怎么样的。买口红也是一样的，想试一下这种口红的色号，在自己的脸上是不是合适。

第二个应用方向是妆容搭配，通过妆容迁移的技术，每天化妆，口红需要选什么色号，适合什么样的眼妆，需要打什么样的高光，打什么样的粉底，可以做一些妆容的搭配。

还有美化图片，比如现在直播或者通过微信、QQ聊天，需要在直播过程中，把自己的图像进行美化一下，上一些妆容之类的。

二、妆容迁移的相关工作及本文想法的产生

首先，介绍一个非常经典的、也比较简单的，发表在A类会议上的一篇论文——BeautyGAN。

它的想法是，一个编码器提取人物的身份信息，另一个编码器提取人物的妆容信息，把这两个信息进行融合，然后输入到解码器中生成妆容迁移结果。

上图左上角是没有化妆的图像，右上角是化妆图像，经过编码器之后用来提取身份特征和妆容特征，然后输出两张图像，一张是产生妆容迁移的结果，另一张是妆容移除的结果。

然后把这两张生成的图像再次输入到网络中，按理说妆容图像再次交换之后，应该可以复原到原始的结果，这里边设计了一个cycle l