html5照片墙代码_AnimeGAN将现实照片动漫化，超越清华的CartoonGAN

AnimeGANv2，已经释出，现在它是最新的了。详情请看我另一篇文章。

在我们19年年中的深度学习の计算机视觉研究中，提出了一个新的将现实世界场景照片进行动漫风格化的方法即AnimeGAN，其风格化的视觉效果已超越清华的CartoonGAN。该实验研究已经发表了相关的会议论文，现已公开论文及其源码于

TachibanaYoshino/AnimeGAN​github.com

在线体验使用网站

https://animegan.js.org/​animegan.js.org

本文中，我们不对该风格化模型的具体结构和实验细节作详细介绍。具体内容可参考论文和源码。

在论文中，我们所提出的照片动漫化模型被称为AnimeGAN。AnimeGAN是基于CartoonGAN的改进,并提出了一个更加轻量级的生成器架构。在论文中还提出了三个全新的损失函数用于提升风格化的动漫视觉效果，这三个损失函数分别是灰度风格损失，灰度对抗损失和颜色重建损失。后续将会给出这3个损失函数的数学公式并对其作详细介绍。下面我们看一下CartoonGAN与AnimeGAN在生成器上的性能对比。可以看出AnimeGAN具有更小的模型大小，更少的计算量以及更快的推理速度。

AnimeGAN的网络结构图如下。

生成器网络和判别器网络

网络中组件的具体结构

接下来，我们就贴出一些实验结果如下。

上图是AnimeGAN与当前的SOTA方法的定性结果对比。其中ComixGAN是来自波兰华沙理工大学的工作，其也是对CartoonGAN的改进，不过它使用的网络结构与CartoonGAN相同，只是使用了与CartoonGAN不同的训练策略。从上图可以看出，CartoonGAN生成的动漫图像中通常会存在颜色伪影区域(即图中红色框标示)，ComixGAN生成的动漫图像中通常会存在过度风格化的区域(即该区域失去了原始照片的内容，目标纹理难以辨识），那么最后呢，我们提出的AnimeGAN就很好的解决了上述2个方法中存在的问题。所以说，AnimeGAN优于现有的SOTA方法并能取得更高质量的视觉动漫效果。

上图是不同的损失对应其不同的加权值所得到的结果。下文有列出上述提到的损失函数公式，W_adv 和 W_col是对抗损失和颜色损失对于的权重。此结果详细说明可参阅原论文。

上图是针对灰度对抗损失，边缘促进对抗损失，以及AnimeGAN如何采用的这2个损失的Ablation experiment 的结果。A，B，C分别表示针对灰度对抗损失和边缘促进对抗损失是否使用彩色图像还是灰度图像的消融实验结果对比，同样地，下文有列出上述提到的损失函数公式，此结果详细说明可参阅原论文。

上图给出的是AnimeGAN在三个不同动漫风格中所得到的结果。这三个风格分别是：新海诚的《君の名は。》，金敏的《パプリカ》，宫崎骏的《風立ちぬ》。

对于损失函数，下图对应的分别是内容损失和灰度风格损失，

下图对应的是生成器网络的颜色重建损失（基于图像像元的损失），以及生成器网络的总损失：

下图对应的是判别器网络的损失，其中包含灰度对抗损失和边界促进的对抗损失，注意，灰度对抗损失和边界促进的对抗损失中输入的图像均是灰度的，以此与灰度风格损失（能使生成图像具有动漫的纹理风格，但容易导致生成图像呈现灰度）对应，以促使生成器生成的图像远离灰度，

最后，我们贴出AnimeGAN在高清摄影照片上的动漫风格化效果。下图所示的动漫风格均来自宫崎骏的《風立ちぬ》电影风格。下面所用的摄影照片来自于站酷用户‘几米路’的海外旅拍，并且已获其授权使用。

一些建议：由于训练集中的真实照片都是风景照，如果想要对以人物为主的照片进行风格化，不妨在训练集中增加至少3000张的人物摄影照片，进行重新训练得到新模型。