infoGAN阅读

Abstract:

本文介绍了InfoGAN，它是一种对生成对抗网络的信息理论扩展，能够以完全无监督的方式学习特征分离表示。 InfoGAN也是一个生成对抗网络，最大化潜在变量的一小部分与观察(生成)结果之间的相互信息。我们得出可以有效优化的互信息目标的下限。 具体来说，InfoGAN成功地将MNIST数据集上的数字形状的写作风格，3D渲染图像的照明姿势，以及SVHN数据集中央数字的背景分离。它还发掘包括发型，是否存在眼镜和CelebA面部数据集上的情感等视觉概念。实验表明，InfoGAN可以学习与现有监督方法学习的表征具有竞争力的可解释性表征。

1 Introduction:

无监督学习一般可以被描述为从大量存在的未标记数据中提取价值的问题。无监督学习的流行框架是表征学习，其目标是使用未标记的数据来学习将重要语义特征暴露为易于解码的要素的表示。学习这种表征的方法是可能存在的，并且对于许多下游任务（包括强化学习中的分类，回归，可视化和策略学习）是有用的。

虽然无监督的学习是病态的（不一定正确）的，因为相关的下游任务在训练时期是未知的，但是特征分离的表示（一个数据实例的显著属性的明确表示）应该对相关但未知的任务有帮助。例如，对于面部数据集，有用的分解的表示可以为以下每个属性分配一组单独的维度：面部表情，眼睛颜色，发型，眼镜的存在与否以及相应人物的身份。特征分离的表示对于需要知道数据的显着属性的自然任务可能是有用的，其中包括面部识别和对象识别等任务。这不是非自然的监督任务，例如其目标是确定图像中的红色像素的数量是偶数还是奇数。因此，为了有用，无监督学习算法必须实际上有效地猜测可能的一组下游分类任务而不直接把所有特征都给它们。

无监督学习研究的很大一部分是由生成模型驱动的。这是由于相信生成或“创造”观察到的数据需要某种形式理解的能力，希望一个良好的生成模型将自动学习一个特征分离的表示，即使很容易构建完美生成模型却具有随机不好的表示的。最突出的生成模型是变分自动编码器（VAE）[3]和生成对抗网络（GAN）

在本文中，我们对生成对抗网络目标进行了简单的修改，鼓励其学习可解释和有意义的表示。我们通过最大化GAN噪声变量的固定小子集与观测值之间的互信息来实现，这一点相对简单。尽管它很简单，我们发现我们的方法是惊人的有效：它能够在许多图像数据集中发现高度语义和有意义的隐藏表示：数字（MNIST），面孔（CelebA）和房屋号码（SVHN）。我们无监督的特征分离表示的质量与先前使用监督标签信息的作品相比较，这些结果表明，增加互信息成本的生成模型可能是学习特征表示的有效途径。

在本文的其余部分，我们首先对相关工作进行审查，并注意到以前用于学习特征分离表示的方