阅读小结:Improved Techniques for training GANS

原创 2016年09月02日 13:40:27

github地址:https://github.com/openai/improved-gan/


What:

提出了对于GANs新的结构和训练过程。主要focus在两个应用:半监督学习 和  更好的图像产生。

对于G,不要求一个和test data和像的模型,也不要求不使用label。

实验中,D在半监督分类任务上达到了state-of-art的结果。

G在MNIST样本人已经无法分辨,CIFAR10的样本人也有21.3%的概率认错。


How:

训练GANs 其实是一个找纳什均衡的问题。但这个均衡很难找到,cost函数不是凸的。

所以引入了一些策略来鼓励收敛。

1. Feature matching

为G设定一个新的目标函数。

替代原先的最大化D的目标,新的目标是用G去产生数据来匹配真实数据。 D还是和原来一样。

f(x)  代表D中的一个中间层,新的目标函数为  f(G(x))  和  f(z)  的二范数最小。


2.minibatch discrimination

孤立的看一个个sample,容易使G收敛到一个点(这就是我之前跑实验常遇到的问题啊!!!)

之前DCGAN里面用batch normal其实也是为了让D不孤立的去看sample。

所以作者提出了使用minibatch discrimination,意思是我们不孤立的看sample,加入sample之间的信息,来写D。(G的objective不变,还是最大化D)

公式的主要意思是,除了D中原来的f(x)外,加入一个信息,就是minibatch 中 f(x)之间的距离  (在bp的时候会有作用)

(作者还提到在训练分类器时,feature matching会表现得更好)


3.Historical averaging

加入了一个正则项。


4.One-side label smoothing

把gt的label  从1,0变成0.9,0.1

generate还是 1和 0


5.VBN

batch normalize 依赖minibatch里面的其他数据。这会有影响。所以提出了一个 virtual batch normalise

每次sample的时候另外再sample一个batch 根据这个batch做norm  (这只使用在G中)






版权声明:本文为博主原创文章,未经博主允许不得转载。 举报

相关文章推荐

Improved Techniques for Training GANs

Improved Techniques for Training GANspaper codeIntroduce对抗网络主要有两个应用:半监督学习和生成视觉相似图片。对抗网络的目的要训练生成网络G(...

GAN:生成式对抗网络介绍和其优缺点以及研究现状

本博文是转载自一篇博文,介绍GAN(Generative Adversarial Networks)即生成式对抗网络的原理以及GAN的优缺点的分析和GAN网络研究发展现状

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

《Improved Recurrent Neural Networks for Session-based Recommendations》 DLRS 2016 阅读笔记

简介:和上一篇介绍的ICLR 2016文章所要解决的问题一致,即利用session内用户的点击序列去预测用户下一次点击的item。方法也运用的RNN,但是更多在于引入了一些优化方法,如data aug...

[文献阅读] METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments

Important Snippets: 1. In order to be both effective and useful, an automatic metric for MT ...

生成对抗网络(GANs)的资料小结,另附:资源|17类对抗网络经典论文及开源代码(附源码)

生成对抗网络的一些资料链接和课件整理,另附资源:17类对抗网络经典论文及开源代码(附源码)

Improved Alpha-Tested Magnification for Vector Textures and Special Effects

siggraph07,来自valve的一个处理alpha test的texture的锯齿问题,以及围绕这个的相关的一些效果的技术。可以让decal和leaf的渲染的效果提升,而且效率的额外负担很低。 ...
  • ccanan
  • ccanan
  • 2011-06-29 09:36
  • 2200

《On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima》-ICLR2017文章阅读

这篇文章探究了深度学习中一个普遍存在的问题——使用大的batchsize训练网络会导致网络的泛化性能下降(文中称之为Generalization Gap)。文中给出了Generalization Ga...

阅读小结:A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

arXiv: https://arxiv.org/pdf/1704.03414.pdf What: 1. 目标是去增强  检测器对于遮挡和形变 的泛化能力  2. 但是数据集中一般   遮挡和形变...

阅读小结:The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition

The Unreasonable Effectiveness of Noisy Data for Fine-Grained Recognition paper link: http://cn.arx...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)