全文共4175字,预计学习时长8分钟
最近,多项研究采用了生成对抗网络(Generative Adversarial Networks, 简称GANs)这一技术来生成分辨率为1024x1024的高清图片。超级逼真的人脸、动物和其他算法生成的图像令人惊叹不已,要知道,这项技术出现也不过短短几年。从分辨率低,像素差的图片到如今栩栩如生的高清画质,在很短的时间内就实现了质的飞跃:这一领域进步多大,请看下图。
这一领域相关度最高的研究是英伟达的 StyleGAN和谷歌的BigGAN。
要生成高质量的图片需要极高的计算能力,所以目前仍不是个可以轻松解决的问题。因此,本文将介绍如何在不使用昂贵硬件的前提下利用GANs处理高清图片,这对手上没有高级显卡(GPU)的人来说是一个绝好机会。本文讨论的所有内容都可以在谷歌的Colaboratory上找到,该平台提供了免费GPU以供大众完成自己的机器/深度学习项目。
目标
我们要使用一个很特别而简单的GAN结构来完成任务,在两个高清图片之间进行风格转换。此外,还会将一张普通的高清风景图片编辑成梵高的风格。近几年在计算机视觉领域,风格转换非常流行。
《艺术化的神经网络算法》引领了这股潮流,该论文在事先测试好的卷积网络中对图片进行内容和风格上的调整。虽然这种方法能处理高清图片,但它只能用一张图像作为参照,比如说,它只能用《星夜》作为梵高整体绘画风格的参照,这不是我们想要的结果。
生成对抗网络技术(GAN)需要大量图片作为输入数据才能完全捕捉画家的风格,CycleGAN这篇论文提到了很多关于风格迁移的有趣发现。
然而,调试GANs对计算机配置要求很高:只有高阶硬件再花上很长的调试时间才能处理这一代高分辨率图片。希望本文介绍的方法能在处理高清图片方面帮助到大家。
梵高的作品