韩国游戏公司NCSOFT最近开源了本算法的代码。
这篇论文的全名为《U-GAT-IT: UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYERINSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE TRANSLATION》,这个算法做了一件非常有趣的事,把输入的真实人脸头像转换为二次元风格。
这是TensorFlow版本,曾经登上趋势榜第一 (现在变成了第三):https://github.com/taki0112/UGATIT
这是PyTorch版本github地址:https://github.com/znxlwm/UGATIT-pytorch
这是论文:https://arxiv.org/abs/1907.10830
当然此算法并不是只能用在做人脸的风格迁移上,所有不同域之间的风格迁移都是可以做的,比如马转斑马。那么我们就来详细看看这篇论文吧。
这篇论文主要提出的三个创新点:
1、提出了一种新的无监督的(不需要成对数据)算法,带有一个注意力模块和一个新的标准化方法(作者命名为AdaLIN)。
2、其中这个注意力模块带有一个辅助的分类器,帮助模型更好地将源域迁移到目标域。
3、AdaLIN方法帮助模型灵活控制图片的形状和纹理,而不需要修改网络结构和超参数。
我们先来看一下完整的网络结构: