[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation

本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.

论文链接: https://openreview.net/forum?id=rygjmpVFvB

相关的工作

已经证明,看不见的样本可以应用于多种应用. Dai et al. (2017) 提出了如何创建补充数据的方法, 并在理论上表明补充数据 (被视为看不见的数据) 可以改善半监督学习. 在新颖性检测中, Yu et al. (2017) 提出了一种生成看不见数据的方法, 并用它们来训练异常检测器. 另一个相关领域是对抗训练 (Goodfellow et al., 2015), 对分类器进行训练以抵抗对抗样本, 而在训练阶段对抗样本是看不见的.

然而前述方法仅聚焦于产生特定类型的看不见的数据, 而不是产生更一般类型的看不见的数据.

本文的方法

首先定义符号. 训练集的分布记为 p d p_d pd, 生成器生成的样本分布记为 p g p_g pg, 假设我们希望生成的看不见的样本分布为 p t p_t pt, 除此以外, 再引入一个中间分布 p d ˉ p_{\bar{d}} pdˉ, 这个分布是根据具体的应用场景来手动生成的, 例如可以将 p d p_d pd 与正态分布做卷积得到.

然后给出一个表达式:
( 1 − α ) p t ( x ) + α p d ( x ) = p d ˉ ( x ) (1-\alpha) p_{t}(x)+\alpha p_{d}(x)=p_{\bar{d}}(x) (1α)pt(x)+αpd(x)=pdˉ(x)
其中 α ∈ [ 0 , 1 ] \alpha \in [0,1] α[0,1]. 这个表达式可以看成 p d ˉ ( x ) p_{\bar{d}}(x) pdˉ(x) 的分解, 得到 p t p_t pt p d p_d pd. 我们的目标是生成分布 p g p_g pg 能逼近目标分布 p t p_t pt. 即使无法实现 p g = p t p_g=p_t pg=pt, DSGAN 也能够生成分布满足
p g ( x ) ∼ p d ˉ ( x ) − α p d ( x ) 1 − α . p_{g}(x) \sim \frac{p_{\bar{d}}(x)-\alpha p_{d}(x)}{1-\alpha}. pg(x)1αpdˉ(x)αpd(x).
传统的鉴别器用于鉴别真实样本和假样本(生成样本), 但是在 DSGAN中, 假样本的定义有所不同, 来自 p d p_d pd 的样本被认为是真实的, 但是来自 p d p_d pd p g p_g pg 之间的混合分布的样本被认为是伪造的.

DSGAN 的优化目标为
V ( G , D ) : = E x ∼ p d ˉ ( x ) [ log ⁡ D ( x ) ] + ( 1 − α ) E z ∼ p z ( z ) [ log ⁡ ( 1 − D ( G ( z ) ) ) ] + α E x ∼ p d ( x ) [ log ⁡ ( 1 − D ( x ) ) ] V(G, D):=\mathbb{E}_{x \sim p_{\bar{d}}(x)}[\log D(x)]+(1-\alpha) \mathbb{E}_{z \sim p_{z}(z)}[\log (1-D(G(z)))]\\+\alpha \mathbb{E}_{x \sim p_{d}(x)}[\log (1-D(x))] V(G,D):=Expdˉ(x)[logD(x)]+(1α)Ezpz(z)[log(1D(G(z)))]+αExpd(x)[log(1D(x))]

参考

  • Zihang Dai, Zhilin Yang, Fan Yang, William W Cohen, and Ruslan R Salakhutdinov. Good semi-supervised learning that requires a bad gan. In NIPS, pp. 6510–6520. 2017.
  • Y. Yu, W.-Y. Qu, N. Li, and Z. Guo. Open-category classification by adversarial sample generation. In IJCAI, pp. 3357–3363, 2017.
  • I. Goodfellow, J. Shlens, and C. Szegedy. Explaining and harnessing adversarial examples. In ICLR, 2015.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值