文 | 超神经
源 | HyperAI
AnimeGANv2 最近发布了一项更新,由社区贡献者开发,通过 Gradio 实现了一个可以在线运行的 Demo,发布在 huggingface 上。
![c83438bb293c28780cc8f30c83c57e34.png](https://i-blog.csdnimg.cn/blog_migrate/d3c047c0e42f20ce47e7aea0f42d50e6.png)
访问链接:
https://huggingface.co/spaces/akhaliq/AnimeGANv2
即可在线上轻松实现 AnimeGANv2 的处理效果(仅支持静态图片处理)。
AnimeGAN:三次元通通变二
AnimeGAN 是基于 CartoonGAN 的改进,并提出了一个更加轻量级的生成器架构,2019 年 AnimeGAN 首次开源便以不凡的效果引发了热议。
![1ee23e66414616bff6791bb979b422cb.png](https://i-blog.csdnimg.cn/blog_migrate/8423e5326a316341035aea626efbb0f1.png)
AnimeGANv2 线上测试效果
在初始版本发布时的论文《AnimeGAN: a novel lightweight GAN for photo animation》中还提出了三个全新的损失函数,用于提升风格化的动漫视觉效果。
这三个损失函数分别是:灰度风格损失,灰度对抗损失、颜色重建损失。
![8b65d8e0d27ba30933e4d53fb716e42c.jpeg](https://i-blog.csdnimg.cn/blog_migrate/aef986c88f24c5227df1c0af33093827.jpeg)
去年九月发布的 AnimeGANv2 优化了模型效果,解决了 AnimeGAN 初始版本中的一些问题。
在 v2 中还新增了新海诚、宫崎骏、今敏三位漫画家漫画风格的训练数据集。
![b00c2a74890ddd26017e9d6d1a1056be.png](https://i-blog.csdnimg.cn/blog_migrate/ec3bd56cca781c0b6819505ba6e35c84.png)
![23bdadd1979b23b74e0de1e80c94e88a.png](https://i-blog.csdnimg.cn/blog_migrate/e2fe19aee69f24bf1c2c601131d18c28.png)
以马斯克为例,AnimeGAN 初代的效果已经很令人惊艳,只是太过于白嫩病娇,仿佛韩国男团成员。
相比之下,v2 更加自然,也更贴合真实气质。
AnimeGANv2 的更新重点:
解决了生成的图像中高频伪影的问题;
v2 更易于训练,并能直接达到论文所述的效果;
进一步减少生成器网络的参数数量。(生成器大小 8.17Mb);
加入更多高质量影像数据。
![653c0d41a8f53f91d6971fcd8ec187ae.png](https://i-blog.csdnimg.cn/blog_migrate/8e61316dd2a5d5fa92e445ad46ecd89c.png)
![ff4fd0dc0715f1469b45e20766667286.png](https://i-blog.csdnimg.cn/blog_migrate/fc40d38722617495e243b8d0dafa3f87.png)
项目信息
![169183e40ce2c8314ba301e288d3dc2b.jpeg](https://i-blog.csdnimg.cn/blog_migrate/09c7a6c77fbfe0a0bea9a5e9ea5bb25a.jpeg)
TensorFlow 版本环境配置要求
python 3.6
tensorflow-gpu
tensorflow-gpu 1.8.0 (ubuntu, GPU 1080Ti or Titan xp, cuda 9.0, cudnn 7.1.3)
tensorflow-gpu 1.15.0 (ubuntu, GPU 2080Ti, cuda 10.0.130, cudnn 7.6.0)
opencv
tqdm
numpy
glob
argparse
PyTorch 实现
![a25b7112fba261ab222f46078ad63a22.png](https://i-blog.csdnimg.cn/blog_migrate/38d050baa171e5567337aef8f4bb8d0f.png)
权重转换
git clone https://github.com/TachibanaYoshino/AnimeGANv2
python convert_weights.py
推理
python test.py --input_dir [image_folder_path] --device [cpu/cuda]
墙内 Colab 运行
![8544547e11dba64dc1f4677f569fddb3.png](https://i-blog.csdnimg.cn/blog_migrate/1d7964502b423926d72044159fc655b0.png)
项目 GitHub
https://github.com/TachibanaYoshino/AnimeGANv2
线上 Demo
https://huggingface.co/spaces/akhaliq/AnimeGANv2
墙内 Colab
https://openbayes.com/console/open-tutorials/containers/pROHrRgKItf
![f64813e50c172fcbe4b45be01564f172.png](https://i-blog.csdnimg.cn/blog_migrate/c488e54c1a9334bea22609f9e546f888.png)
后台回复关键词【入群】
加入卖萌屋NLP、CV、搜广推与求职讨论群