风格迁移 I2I 论文阅读笔记——U-GAT-IT，动漫风格生成

U-GAT-IT: UNSUPERVISED GENERATIVE ATTENTIONAL NETWORKS WITH ADAPTIVE LAYER- INSTANCE NORMALIZATION FOR IMAGE-TO-IMAGE TRANSLATION论文阅读
发表于 ICLR 2020
代码地址：https://github.com/taki0112/UGATIT 和 https://github.com/znxlwm/UGATIT-pytorch

本人的话：由于出了一些意外，现在要先看一些风格迁移的论文。

介绍

Image-to-Image旨在学习两个不同领域的图像之间的映射。它的应用包含图像修复，超像素，上色和风格迁移。
之前的方法往往通过形状和纹理的改变来判断性能优劣，对于映射局部纹理的风格迁移任务（比如PhotoVangogh和photo2portrait）很成功，但对于涉及到大的形状改变的任务（比如selfie2anime和cat2dog）就行不通了。因此像图像裁剪和对齐这些预处理操作被用来限制数据分布的复杂性。此外，现有方法也有急需要保持形状又要改变形状的，比如DRIT。
本篇论文中将提出一种非监督的I2I的新方法，它以端对端的方式结合了attention和一个可学习的正则化函数，我们的模型通过辅助分类器得到的attention map来区分源图片和目标图片，从而更多注意重要的区域，忽视次要的部分。这些attention map送到generator和Discriminator，来关注语义重要的部分，促进形状的改变。generator的attention map帮助将注意力集中在那些能区分两种领域的图像的部分，Discriminator的attention map专注于在目标领域中真实图片和生成图片的区别。
此外，我们发现不同正则化方法的选择可以影响在不同数据集（有不同程度的形状和纹理的改变）中生成结果的质量。受到Batch-Instance Normalization（BIN）的启发，我们使用了Adaptiva Layer-Instance Normalization（AdaLIN），它会在训练过程中通过一个自适应地选择Instance Normalization（IN）和Layer Normalization（LN）之间的比例来学习参数。AdaLIN帮助我们的模型更灵活地控制形状和纹理改变的程度。因此，我们的模型不用根据数据集改变超参数和模型结构，就能实现上述问题。实验中，我们还发现我们的模型不仅可以用于风格迁移的任务，还可以用于物体变形的任务。

相关工作

Image-to-Image Translation

2018年提出了高分辨率的pix2pix。
CycleGAN使用不匹配样本进行训练。UNIT假定了一个共享的潜在空间来帮助处理非监督图片转换。但这种方法只有两个领域非常相似时才起作用。
MUNIT通过将图片分解为domain-invariant content code和捕捉领域属性的style code实现了多对多的映射，它使用自适应的instance normalization提升了图片质量。DRIT同样，但区别在于它使用weight sharing来共享两个领域之间的content space，并且Discriminator是一个辅助分类器。但是他们只限于那些能很好地将源领域和目标领域匹配的数据集。
AGGAN通过attention来区分前景和背景，提高了转换质量。但是attention不能帮助转换物体形状。
CartoonGAN在动画风格迁移上表