CartoonGAN导读
作者:
- Yang Chen ,Tsinghua University,,China
- Yu-Kun Lai, Cardiff University,UK
- Yong-Jin Liu,Tsinghua University,China
背景:
由于
- 卡通风格具有高水平简化和抽象的独特特征
- 卡通图像倾向于具有清晰的边缘,平滑的颜色阴影和相对简单的事实
现有的方法不能产生令人满意的卡通化结果。
目的:
一种将现实世界场景的照片转换为卡通风格的图像的生成对抗网络(GAN)框架,透过一组照片和一组卡通图片进行训练,这两组照片无需对应,基于GAN的方法,可以有效地学习使用不成对图像集进行训练的真实世界照片到卡通图像的映射。
突破:
- Semantic Content Loss(语义内容损失):为了应对照片和漫画的风格变化,在VGG网路中高级特征映射中引入稀疏正则化的语义损失 ℓ1
- Edge-Promoting Adversarial Loss(边缘增强对抗损失):在鉴别器网络中引入以保留清晰的边缘。
比较:
Non-photorealistic rendering (NPR):
无法转换风格,只对阴影及边界做处理。
NST:
可以自动转换各种艺术风格,但是它要求训练集图像相似。
CNNMRF
可能在语意分割上出错。
Cycle GAN
同时训练两组网路,速度较慢
核心
由两个CNN组成,一个是生成器:负责产生假图混肴鉴别器
,一个是鉴别器:分辩图像真伪
为找出 ( G ∗ ,