单张图像就可以训练GAN！Adobe改良图像生成方法 | 已开源

十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

数据集太小了，无法训练GAN？试试从单个图像入手吧。

去年谷歌就提出了SinGAN，是第一个拿GAN在单幅自然图像学习的非条件生成模型(ICCV 2019最佳论文)。

而最近，来自Adobe和汉堡大学的研究人员，对这个方法做了改进，探讨了几种让GAN在单幅图像提高训练和生成能力的机制。

研究人员将改进的模型称作ConSinGAN。

那么，先来看下ConSinGAN的效果吧。

上图左侧是用来训练的单个图像，右侧是利用ConSinGAN训练后生成的复杂全局结构。

可以看出效果还是比较逼真。

当然，ConSinGAN还可以用来处理许多其他任务，例如图像超分辨率( image super-resolution)、图像动画(image animation)，以及图像去雾(image dehazing)。

下面两张就是它在图像协调(image harmonization)和图像编辑(image editing)上的效果。