风格迁移 I2I 论文阅读笔记——AnimeGAN，动漫风格生成

AnimeGAN: A Novel Lightweight GAN for Photo Animation
github代码：https://github.com/TachibanaYoshino/AnimeGAN

介绍

动画制作需要考虑线条、纹理、颜色和阴影，十分耗时。因此，能够自动转化real-world photos to high-quality animation style image的技术是很有价值的。
现有的技术存在以下问题：
1）生成图像没有显著的动画风格的纹理
2）生成图像丢失了原有图像的内容
3）参数模型太大

我们提出的轻量模型AnimeGAN的主要特点：
1）使用Gram矩阵来获取更加鲜明的风格图片
2）基于非监督学习
3）提出了三个提高动画视觉效果的loss：grayscale style loss，color reconstruction loss，grayscale adversarial loss。前两个在生成过程中保留照片的颜色并使生成图片的动画风格更加明显，最后一个在discriminator里使生成图片具有更加鲜明的颜色。同时，我们也使用了CartoonGAN提出的edge-promoting adversarial loss来保留清晰的边缘。
4）我们使用在预训练的VGG19来作为感知网络，以获得生成图片和原始图片的深层感知特征的L1损失，从而使两张图片的内容匹配。
5）在AnimeGAN开始训练前，我们先对generator进行了初始训练，保障AnimeGAN的训练更加稳定。

相关工作

Neural Style Transfer(NST):Gatys提