【平价数据】GAN用于半监督学习

Salimans, Tim, et al. “Improved techniques for training gans.” Advances in Neural Information Processing Systems. 2016.

概述

GAN的发明者Ian Goodfellow2016年在Open AI任职期间发表了这篇论文，其中提到了GAN用于半监督学习(semi supervised)的方法。称为SSGAN。
作者给出了Theano+Lasagne实现。本文结合源码对这种方法的推导和实现进行讲解。¹

半监督学习

考虑一个分类问题。
如果训练集中大部分样本没有标记类别，只有少部分样本有标记。则需要用半监督学习(semi-supervised)方法来训练一个分类器。

wiki上的这张图很好地说明了无标记样本在半监督学习中发挥作用：

如果只考虑有标记样本（黑白点），纯粹使用监督学习。则得到垂直的分类面。
考虑了无标记样本（灰色点）之后，我们对样本的整体分布有了进一步认识，能够得到新的、更准确的分类面。

核心理念

在半监督学习中运用GAN的逻辑如下。

• 无标记样本没有类别信息，无法训练分类器；
• 引入GAN后，其中生成器(Generator)可以从随机信号生成伪样本；
• 相比之下，原有的无标记样本拥有了人造类别：真。可以和伪样本一起训练分类器。
  

举个通俗的例子：就算没人教认字，多练练分辨“是不是字”也对认字有好处。有粗糙的反馈，也比没有反馈强。

原理

框架

GAN中的两个核心模块是生成器(Generator)和鉴别器(Discriminator)。这里用分类器(Classifier)代替了鉴别器。

训练集中包含有标签样本$x_l$和无标签样本$x_u$。
生成器从随机噪声生成伪样本$I_f$。
分类器接受样本$I$，对于$K$类分类问题，输出$K+1$维估计$l$，再经过softmax函数得到概率$p$：其前$K$维对应原有$K$个类，最后一维对应“伪样本”类。
$p$的最大值位置对应为估计标签$y$。

$$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(x_i)=\frac{\exp (x_i)}{{\sum }_j\exp (x_j)}$$

三种误差

整个系统涉及三种误差。

对于训练集中的有标签样本，考察估计的标签是否正确。即，计算分类为相应的概率：
$$L_{label}=-E\left[\ln p(y|x)\right]$$

对于训练集中的无标签样本，考察是否估计为“真”。即，计算不估计为$K+1$类的概率：
$$L_{unlabel}=-E\left[\ln \left(1-p(K+1|x)\right)\right]$$

对于生成器产生的伪样本，考察是否估计为“伪”。即，计算估计为$K+1$类的概率：