PSGAN 阅读笔记

PSGAN 阅读笔记

Contribution

PSGAN 抛出了两个问题：一是现有的方法只在frontal facial images工作的好，还做不到pose and expression robust；二是现有方法还没实现customizable makeup transfer。然后 PSGAN 提出了MDNet、AMM模块解决这两个问题，是现在唯一实现了partial，shade-controllable， pose/expression robust makeup transfer的模型。

Important Points

1. 提出 MDNet 模块用于从 reference image 中提出 2 个 makeup matrices，感觉就是 StyleGAN 中style的另一种形式，不过这里的 makeup matrices 是spatial-aware 的，可以用来实现后面的 partial 和shade-controllable transfer。
2. 本文的核心结构-Attentive Makeup Morphing(AMM)，用于adaptively morphs the makeup matrices，大体就是通过引入attention机制自适应的修改makeup matrices，从而解决pose and expression robust transfer。
3. 提出了一个新的 Makeup-Wild 数据集，里面的图片有着不同姿势和表情，可以测试 PSG