半监督生成式对抗网络学习笔记

半监督生成式对抗网络学习笔记

1. GAN训练收敛Tricks

1.1 特征匹配(Feature matching)

$$||{\mathbb{E}}_{\mathbf{x}\sim p_{data}}f(\mathbf{x})-{\mathbb{E}}_{\mathbf{z}\sim p_{\mathbf{z}}(\mathbf{z})}f(G(\mathbf{z})|{|}_2^2\text{\hspace{1em}(1)}$$

$f(\mathbf{x})$表示判别器中间层特征输出。式$(1)$的优化目标在于使真实样本的特征与生成样本的特征尽可能相匹配。

1.2 小批量判别(Minibatch discrimination)

GAN难以训练，容易发生崩溃(collapse)问题，这时生成器发生退化收敛至单个样本点，而判别器梯度会指向相似方向，这样就无法继续训练了。为了防止发生崩溃问题，在训练过程中需要同时结合多个样本点。小批量判别的训练策略如下：首先提取判别器输入${\mathbf{x}}_i$的中间层特征向量$f({\mathbf{x}}_i)\in {\mathbb{R}}^A$，然后利用转换张量$T\in {\mathbb{R}}^{A\times B\times C}$乘以特征向量得到距离矩阵$M_i\in {\mathbb{R}}^{B\times C}$，定义每个输入${\mathbf{x}}_i$的$o({\mathbf{x}}_i)$如下：$$\begin{array}{rl}& c_b({\mathbf{x}}_i,{\mathbf{x}}_j)=exp(-||M_{i,b}-M_{j,b}|{|}_{L_1})\in \mathbb{R}\\ & o({\mathbf{x}}_i{)}_b=\sum _{j=1}^n{c}_b({\mathbf{x}}_i,{\mathbf{x}}_j)\in \mathbb{R}\\ & o({\mathbf{x}}_i)=[o({\mathbf{x}}_i{)}_1,o({\mathbf{x}}_i{)}_2,\dots ,o({\mathbf{x}}_i{)}_B]\in {\mathbb{R}}^B\\ & o(\mathbf{X})\in {\mathbb{R}}^{n\times B}\end{array}\text{\hspace{1em}(2)}$$

最后连接$o({\mathbf{x}}_i)$以及$f({\mathbf{x}}_i)$作为下一层网络的输入。

若生成器收敛至单个样本点，则生成样本$o(G({\mathbf{z}}_i))$接近于0，而真实样本$o({\mathbf{x}}_i)$一般不为零，这时判别器就可以简单区分生成样本与真实样本，从而避免发生崩溃问题。

1.3 历史平均(Historical averaging)

$$||\theta -\frac{1}{t}\sum _{i=1}^t\theta [i]|{|}^2\text{\hspace{1em}(3)}$$

引入该正则项可以使训练更容易进入纳什均衡。

1.4 单边标签平滑(One-sided label smoothing)

$$D(x)=\frac{\alpha p_{data}(\mathbf{x})+\beta p_{model}(\mathbf{x})}{p_{data}(\mathbf{x})+p_{model}(\mathbf{x})}\text{\hspace{1em}(4)}$$

将$\alpha$以及$\beta$的常规取值0，1替换为如0.1，0.9之类的数值可以增加网络的抗干扰能力。但$\beta$非零会倾向于使生成器产生相似的生成样本，因此，在这里$\beta$取值为零，这种平滑方式被称作单边标签平滑。

1.5 虚拟批标准化(Virtual batch normalization)

批标准化可以极大地提高网络性能，但是这种技术会造成一个网络输入的输出会高度依赖于同一批数据的其输入。为了避免这种问题的发生，我们引入了虚拟批标准化(VBN)技术，利用同一个参考批数据标准化所有批数据。

VBN在计算上开销较大 （？），因此只被利用在生成器中。

2.半监督学习

假设训练分类器分类$K$个类别，引入生成器生成样本后，分类器分类类别变为$K+1$个，有标签样本用于训练分类器分类前$K$个类别，无标签样本用于训练分类器第$K+1$个样本分类以此加强分类器对于数据分布的学习。整个训练损失函数如下：

$$\begin{array}{rl}L& =-{\mathbb{E}}_{\mathbf{x},y\sim p_{data}(\mathbf{x},y)}[\log p_{model}(y|\mathbf{x})]-{\mathbb{E}}_{\mathbf{x}\sim G}[\log p_{model}(y=K+1|\mathbf{x})]\\ & =L_{supervised}+L_{unsupervised}\end{array}\text{\hspace{1em}(5)}$$$$\begin{array}{rl}{L}_{supervised}& =-{\mathbb{E}}_{\mathbf{x},y\sim p_{data}(\mathbf{x},y)}[\log p_{model}(y|\mathbf{x},y<K+1)]\\ L_{unsupervised}& =-{\mathbb{E}}_{\mathbf{x}\sim p_{data}(\mathbf{x})}[\log (1-p_{model}(y=K+1|\mathbf{x}))]-\mathbb{E}[\log p_{model}(y=K+1|\mathbf{x})]\\ & =-{\mathbb{E}}_{\mathbf{x}\sim p_{data}(\mathbf{x})}[\log D(\mathbf{x})]-{\mathbb{E}}_{\mathbf{z}\sim noise}[\log (1-D(G(\mathbf{z})))]\end{array}\text{\hspace{1em}(6)}$$

参考文献

[1]Improved Techniques for Training GANs