
日本动画不乏从现实环境取材的风景画面,如京都动画(Kyoto Animation)、吉卜力工作室,或是新海诚製作的动画,均採用大量实景作为作品中的舞台,掀起了圣地巡礼的热潮。而近日,中国就有大学团队研发出一种技术,可以将现实世界拍摄的照片转换为类似动漫的图像,令用家可以透过该技术转换相片,如上述的动画制作者般,将二、三次元「合并」。

由武汉大学和湖北工业学院组成的中国研究团队开发的 「AnimeGAN: A Novel Lightweight GAN for Photo Animation」,是一项将现实世界拍摄的照片快速转换为动漫图像的技术。AnimeGan 利用神经风格转换(Neural Style Transfer)和 GAN(生殖对抗网络),配合深度学习的轻量级框架,在考虑线条,纹理,颜色,阴影等情况后,将实景图像快速转换为动漫图像。




该团队指,AnimeGAN 是基于 CartoonGAN,再进行改进,并製作出一个更加轻量级的生成器架构。为了有效减少生成器的参数数量,AnimeGAN 使用了 8 个连续且相同的IRB(inverted residual blocks),以轻量级的生成器实现高速传输。

将 AnimeGAN 与 CartoonGAN 和 ComixGAN 进行比较,可以发现 AnimeGAN 可以显著减少参数数量和计算成本,并提高了处理速度。尤其是颜色伪影区域(图中红框),CartoonGAN 生成的动漫图像中通常会存在颜色伪影区域,而 ComixGAN 生成的动漫图像中则会存在过度风格化的区域,令原始照片内容有损,难以辨识目标纹理,但 AnimeGAN 就能解决该些问题。

目前,AnimeGAN 已经开源,数据集和预训练模型均可下载,如果读者们有兴趣体验一下宫崎骏、新海诚、或是京阿尼的风格呈现,不妨一试。