半监督生成对抗网络_生成对抗网络（GAN）的半监督学习

前言

如果您曾经听说过或研究过深度学习，那么您可能就知道MNIST, SVHN, ImageNet, PascalVoc或者其他数据集。这些数据集都有一个共同点： 它们由成千上万个有标签的数据组成。 换句话说，这些集合由(x，y)对组成，其中(x)是原始数据，例如是一个图像矩阵；而(y)则表示该数据点(x)表示的标签。

以MNIST数据集为例， MNIST数据集包含60,000个图像数据，每个数据表征0到10的数字图像中的某一个。其数据表示形式一般为一个(输入数据，数据标签)对。 其中，MNIST的输入数据是一个28x28灰度图像，而数据标签则是该图像的内容(类别)。

图1 MNIST数据集中的一个数据

这样的有标签的数据集通常用于训练监督模型。监督学习一直是深度学习中大多数研究的中心，但是其训练过程需要大量的含有标签的数据。而现实生活中，给数据打标签是一个非常昂贵而且容易出错的工作。

考虑到这一点，为了利用打好标签的一部分数据以及未曾拥有标签的大部分数据，研究人员提出了半监督学习。半监督学习解决了有标签数据较少时，模型训练效果较差的问题。 它通过从没有标签的数据中提取有用的信息来弥补标签损失带来的不足，进一步提高了模型的整体性能。

半监督的分类器需要一小部分标记数据和大量未标记数据(来自同一域)。其目标是结合这些数据源来训练模型，比如深度卷积神经网络(DCNN)，以学习这些数据中的类别信息。

在此领域中，我们学者提出一个GAN模型，该模型使用一个非常小的标签训练集对街景门牌号进行分类。实际上，该模型使用了大约1.3％的原始SVHN培训标签，即1000个(一千个)标签示例。我们使用了OpenAI的《改进GAN训练技术》一书中描述的一些技术。

如果您不熟悉图像生成GAN，请参阅《生成对抗网络简介》。本文引用了该文章中描述的一些内容。

网络

如图2.，在构建用于生成图像的GAN时，我们同时训练了生成器和决策器。在训练之后，我们可以放弃决策器，因为我们只用它来训练生成器。

图2.一个11类分类问题的半监督学习 GAN体系结构

对于半监督学习，我们需要将决策器转换为多类分类器。这个新模型必须能够在测试集上很好地推广，即使我们没有很多标记的例子来训练。

此外，在这个例子中，生成器和决策器的角色发生了变化。在训练结束时，我们实际上可以扔掉生成器。因为，在本例子的训练过程中，发生器只用于帮助决策器。

换句话说，生成器充当不同的信息源，决策器从中获得未经标记的原始训练数据。正如我们看到的，这种未标记数据是提高鉴别器性能的关键。

此外，对于常规图像生成GAN，决策器只有一个角色：计算输入是真还是假的概率-----我们称之为GAN问题。

然而，为了将决策器变成半监督分类器，除了GAN问题，决策器还必须学习原始数据集中每个类的概率。换句话说，对于每一个输入图像，识别器必须学习它变成1、2、3等等类别的概率。

回想一下，对于一个图像生成GAN决策器，我们有一个单一的sigmoid单位输出。这个值表示输入图像为真(值接近1)或假(值接近0)的概率。

换句话说，从决策器的角度来看，值接近于1意味着样本很可能来自于训练集，同样的，值接近于0意味着样本来自于生成器网络的变化更大。

通过利用这个概率，决策器就能把信号送回发生器。这个信号允许发生器在训练期间适应它的参数，使它有可能提高其能力创造真实的图像。

我们必须将决策器(从以前的GAN)转换为一个11类分类器。为此，我们可以将其sigmoid输出转换为softmax，其中包含11个类输出。前10个类表示SVHN数据集的单个类概率(0到9)，第11个类表示来自生成器的所有伪图像。

注意，