用小姐姐自拍，生成二次元萌妹子——《U-GAT-IT》人脸动漫化论文解析

韩国游戏公司NCSOFT最近开源了本算法的代码。

这篇论文的全名为《U-GAT-IT: UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYERINSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE TRANSLATION》，这个算法做了一件非常有趣的事，把输入的真实人脸头像转换为二次元风格。

这是TensorFlow版本，曾经登上趋势榜第一 (现在变成了第三)：https://github.com/taki0112/UGATIT

这是PyTorch版本github地址：https://github.com/znxlwm/UGATIT-pytorch

这是论文：https://arxiv.org/abs/1907.10830

当然此算法并不是只能用在做人脸的风格迁移上，所有不同域之间的风格迁移都是可以做的，比如马转斑马。那么我们就来详细看看这篇论文吧。

这篇论文主要提出的三个创新点：

1、提出了一种新的无监督的（不需要成对数据）算法，带有一个注意力模块和一个新的标准化方法（作者命名为AdaLIN）。

2、其中这个注意力模块带有一个辅助的分类器，帮助模型更好地将源域迁移到目标域。

3、AdaLIN方法帮助模型灵活控制图片的形状和纹理，而不需要修改网络结构和超参数。

 

我们先来看一下完整的网络结构：