风格迁移 I2I 论文阅读笔记——AnimeGAN，动漫风格生成

芋圆526

于 2021-03-31 21:32:15 发布

阅读量2.2k

点赞数 2

分类专栏：论文阅读文章标签：人工智能计算机视觉

本文链接：https://blog.csdn.net/qq_26136211/article/details/115350007

版权

AnimeGAN是一种轻量级的生成对抗网络，用于将真实世界的照片转换为高质量的动漫风格图像。通过使用Gram矩阵获取鲜明的风格，非监督学习方法，以及特定的损失函数，AnimeGAN能在保留原始图像内容的同时，生成具有动画特色的图像。模型结构包括一个生成器和一个判别器，通过多层损失函数实现内容保留和风格转移。在实验中，AnimeGAN在不同风格的动漫数据集上展示了出色的转换效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

AnimeGAN: A Novel Lightweight GAN for Photo Animation
github代码：https://github.com/TachibanaYoshino/AnimeGAN

介绍

动画制作需要考虑线条、纹理、颜色和阴影，十分耗时。因此，能够自动转化real-world photos to high-quality animation style image的技术是很有价值的。
现有的技术存在以下问题：
1）生成图像没有显著的动画风格的纹理
2）生成图像丢失了原有图像的内容
3）参数模型太大

我们提出的轻量模型AnimeGAN的主要特点：
1）使用Gram矩阵来获取更加鲜明的风格图片
2）基于非监督学习
3）提出了三个提高动画视觉效果的loss：grayscale style loss，color reconstruction loss，grayscale adversarial loss。前两个在生成过程中保留照片的颜色并使生成图片的动画风格更加明显，最后一个在discriminator里使生成图片具有更加鲜明的颜色。同时，我们也使用了CartoonGAN提出的edge-promoting adversarial loss来保留清晰的边缘。
4）我们使用在预训练的VGG19来作为感知网络，以获得生成图片和原始图片的深层感知特征的L1损失，从而使两张图片的内容匹配。
5）在AnimeGAN开始训练前，我们先对generator进行了初始训练，保障AnimeGAN的训练更加稳定。