[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation

本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.

论文链接: https://openreview.net/forum?id=rygjmpVFvB

相关的工作

已经证明，看不见的样本可以应用于多种应用. Dai et al. (2017) 提出了如何创建补充数据的方法, 并在理论上表明补充数据 (被视为看不见的数据) 可以改善半监督学习. 在新颖性检测中, Yu et al. (2017) 提出了一种生成看不见数据的方法, 并用它们来训练异常检测器. 另一个相关领域是对抗训练 (Goodfellow et al., 2015), 对分类器进行训练以抵抗对抗样本, 而在训练阶段对抗样本是看不见的.

然而前述方法仅聚焦于产生特定类型的看不见的数据, 而不是产生更一般类型的看不见的数据.

本文的方法

首先定义符号. 训练集的分布记为 $p_d$, 生成器生成的样本分布记为 $p_g$, 假设我们希望生成的看不见的样本分布为 $p_t$, 除此以外, 再引入一个中间分布 $p_{\bar{d}}$, 这个分布是根据具体的应用场景来手动生成的, 例如可以将 $p_d$ 与正态分布做卷积得到.

然后给出一个表达式:
$$(1-\alpha )p_t(x)+\alpha p_d(x)=p_{\bar{d}}(x)$$
其中 $\alpha \in [0,1]$. 这个表达式可以看成 $p_{\bar{d}}(x)$ 的分解, 得到 $p_t$ 和 $p_d$. 我们的目标是生成分布 $p_g$ 能逼近目标分布 $p_t$. 即使无法实现 $p_g=p_t$, DSGAN 也能够生成分布满足
$$p_g(x)\sim \frac{p_{\bar{d}}(x)-\alpha p_d(x)}{1-\alpha }.$$
传统的鉴别器用于鉴别真实样本和假样本(生成样本), 但是在 DSGAN中, 假样本的定义有所不同, 来自 $p_d$ 的样本被认为是真实的, 但是来自 $p_d$ 和 $p_g$ 之间的混合分布的样本被认为是伪造的.

DSGAN 的优化目标为
$$\begin{gathered} V(G,D):={\mathbb{E}}_{x\sim p_{\bar{d}}(x)}[\log D(x)]+(1-\alpha ){\mathbb{E}}_{z\sim p_z(z)}[\log (1-D(G(z)))] \\ +\alpha {\mathbb{E}}_{x\sim p_d(x)}[\log (1-D(x))] \end{gathered}$$

参考

• Zihang Dai, Zhilin Yang, Fan Yang, William W Cohen, and Ruslan R Salakhutdinov. Good semi-supervised learning that requires a bad gan. In NIPS, pp. 6510–6520. 2017.
• Y. Yu, W.-Y. Qu, N. Li, and Z. Guo. Open-category classification by adversarial sample generation. In IJCAI, pp. 3357–3363, 2017.
• I. Goodfellow, J. Shlens, and C. Szegedy. Explaining and harnessing adversarial examples. In ICLR, 2015.