GAN
文章平均质量分 94
Facico
生命是闪耀的此刻,不是过程,就像芳香不需要道路一样。
展开
-
Virtual Adversarial Training(VAT)
Virtual Adversarial Training:A Regularization Method for Supervised and Semi-Supervised Learnimg对抗训练Goodfellow对对抗训练损失函数定义如下Ladv(xl,θ)=D[q(y∣xl),p(y∣xl+radv,θ)]whereradv=argmaxD[q(y∣xl),p(y∣xl+radv,θ)]L_{adv}(x_l,\theta)=D[q(y|x_l),p(y|x_l+r_{adv},\thet原创 2021-03-10 16:56:48 · 600 阅读 · 0 评论 -
SeqGAN
SeqGAN对于NLP用GAN最主要是要解决一个离散值梯度的问题,就比如字典空间的编号是[0,1,2,3],你新生成的句子是[1.1,2,3]这样就没有什么意义。在离散的数据里面GAN是不work的既然梯度不好计算就容易想到RL中的Policy Gradient,然后这里作者就用了RL不过有个问题,RL对于一个句子好坏的评判只能对于整个句子的得到reward而不能对于部分句子,不能像普通的RNN那样对于一个及时的输出来评判解决的方法也很简单,我们在句子长度还不到T的时候,用蒙特卡洛树搜索来补全原创 2020-09-22 08:16:11 · 321 阅读 · 0 评论 -
WGAN
WGANWasserstein GANWGAN就对原始的GAN画龙点睛了一下判别器最后一层去掉了sigmoid(分类变成了回归)生成器和判别器的loss不用log(实质上是改变了loss的函数)每次更新判别器的参数之后把它们的绝对值截断到不超过一个固定的参数c不要用基于动量的优化方法(Adam之类的),推荐RMSProp,SGD也可以原始虽然改动很简单,但是却有很大的改善解决了GAN训练不稳定的问题,不需要小心的平衡生成器和判别器的训练程度基本解决了col原创 2020-09-22 08:14:28 · 2884 阅读 · 0 评论