论文名称:Instance-Conditioned GAN
论文链接:https://www.aminer.cn/pub/614012bf5244ab9dcb816279?f=cs
生成对抗网络 (GAN) 在图像生成领域可以说是最强大的 AI 模型,无论是逼真的图片、抽象的拼贴画、风格迁移都不在话下。 但GAN 也有神经网络模型所共有的致命缺点,就是具有局限性,通常只能生成与训练数据集密切相关的物体或场景的图像。 例如,在汽车图像上训练的 GAN 在生成汽车相关图像时可以做到特别逼真,但可能让它生成鲜花、动物之类的模型就会一眼假,因为生成的图像可能会违反物理常识等。
Facebook AI Research 为了解决这个问题,提出了一个新模型Instance-Conditioned GAN (IC-GAN) ,可以生成逼真的、没有见过的图像组合。
目前代码已经开源。 研究人员从核密度估计(kernel density estimation, KDE)技术中得到启发,引入了一种非参数化方法来建模复杂数据集的分布。KDE是一种非参数密度估计器,以参数化核的混合形式对每个训练数据点周围的密度进行建模。
IC-GAN可以看作是一种混合密度估计器,其中每个分量都是通过对训练实例进行条件化得到的。
然而与KDE不同的是,IC-GAN 没有显式地对数据概率进行建模,而是采用了一种对抗性的方法,其中我们使用一个神经网络隐式地对局部密度进行建模,该神经网络将条件实例和噪声向量作为输入。
因此,IC-GAN中的内核不再独立于我们所处理的数据点,我们通过选择实例的邻域大小来控制平滑度,而不是内核带宽参数,我们从中采样真实样本以馈送到鉴别器。 IC-GAN 将数据流形划分为由数据点及其最近邻描述的重叠邻域的混合物,IC-GAN模型能够学习每个数据点周围的分布。通过在条件实例周围选择一个足够大的邻域,可以避免将数据过度划分为小的聚类簇。
AMiner,让AI帮你理解科学!https://www.aminer.cn