英伟达研究出用较少数据集训练GAN的方法

最近 NVIDIA 研究出的最新AI模型成为生成对抗网络中的佼佼者。使用训练普通 GAN 所需要的数据集的一小部分，它就可以学习类似模仿著名画家、重建癌组织图像一样复杂的技能。

通过将一种突破性的神经网络训练技术应用于流行的NVIDIA StyleGAN2模型，NVIDIA研究人员根据纽约大都会艺术博物馆的不到1,500张图像重新设计了新艺术品。他们使用NVIDIA DGX系统加速训练，从历史人物肖像中汲取灵感，创作了新的AI艺术作品。

该技术（称为自适应鉴别器增强或ADA）将训练图像的数量减少了10到20倍，同时仍然获得了不错的效果。未来，这种方法可能会对医疗行业产生重大影响，例如，通过创建癌症组织学图像来帮助训练其他AI模型。

NVIDIA图形研究副总裁David Luebke说：“这些结果意味着人们可以使用GAN解决大量数据过于耗时或难以获取的问题。” “我等不及要看看艺术家、医学专家和研究人员将其用于什么用途。”

这个项目背后的研究论文将在本周的神经信息处理系统年度会议（NeurIPS）上发表。这是该著名会议接受的创纪录的28篇NVIDIA研究论文之一。

这种新方法是NVIDIA研究人员在GAN中的最新成果，他们为AI绘画应用程序GauGAN，游戏引擎mimicker GameGAN和宠物照片转换器GANimal开发了基于GAN的模型。所有这些都可以在NVIDIA AI Playground上找到。

训练数据困境

像大多数神经网络一样，GAN长期遵循一个基本原则：训练数据越多，模型越好。这是因为每个GAN都由两个合作网络组成 —— 一个生成合成图像的生成器和一个鉴别器，该鉴别器根据训练数据来学习逼真的图像。

鉴别器指导生成器，提供逐像素反馈，以帮助其改善合成图像的真实感。但是要从中学习的训练数据有限，鉴别器将无法帮助生成器发挥其全部潜能，就像新手比经验丰富的专家要少得多。

通常需要50,000至100,000张的训练图像来训练高质量的GAN。但是在很多情况下，研究人员根本没有可利用的成千上万的样本图像。

仅使用几千张图像进行训练，许多GAN就会举步维艰，无法产生逼真的结果。当鉴别器仅存储训练图像而无法向生成器提供有用的反馈时，就会发生称为过拟合的问题。

在图像分类任务中，研究人员通过数据增强解决了过度拟合问题，这项技术使用现有图像的副本生成较小的数据集，这些副本由于旋转，裁剪或翻转等过程而随机扭曲，从而迫使模型更好地运行。

但是之前尝试将增强应用于GAN训练图像的结果是生成器学会了模仿那些失真，而不是创建可信的合成图像。

GAN的使命

NVIDIA Research的ADA方法可自适应地应用数据增强，这意味着在训练过程中的不同点可调整数据增强的数量，以避免过拟合。这样，像StyleGAN2这样的模型就可以使用更少的训练图像来获得同样惊人的效果。

结果是，研究人员可以将GAN应用于以前不切实际的应用中，在这些应用中，示例太稀少，难以获得或太耗费时间来收集大型数据集。

艺术家使用了不同版本的StyleGAN创作令人惊叹的展品，并根据传奇插画家Osamu Tezuka的风格制作了新的漫画。Adobe甚至采用了它来驱动Photoshop的新AI工具“神经过滤器”。

由于入门所需的培训数据较少，因此带ADA的StyleGAN2可以应用于稀有艺术作品，例如总部位于巴黎的AI艺术团体Obvious在非洲科塔面具上的作品。

另一个有希望的应用是医疗保健，因为大多数人身体健康，因此罕见疾病的医学图像可能很少而且相差甚远。大量收集有用的异常病理切片的数据集将需要医学专家花费大量时间进行标记。

使用GAN和ADA创建的合成图像可以填补这一空白，为另一个AI模型生成训练数据，该模型可以帮助病理学家或放射学家在病理图像或MRI研究中发现罕见病。另外一个好处是：借助AI生成的数据，无需患者数据或隐私问题，使医疗机构更容易共享数据集。

NVIDIA在NeurIPS上的研究

NVIDIA研究团队由全球200多名科学家组成，致力于AI，计算机视觉，自动驾驶汽车，机器人技术和图形学等领域。在12月6日至12日举行的年度最大的AI研究会议NeurIPS上，将突出NVIDIA研究人员撰写的超过20篇论文。

可以在NeurIPS上查看全系列NVIDIA Research论文：https://www.nvidia.com/en-us/events/neurips/

论文：https://arxiv.org/abs/2006.06676

代码：https://github.com/NVlabs/stylegan2-ada