阅读小结:Improved Techniques for training GANS

原创 2016年09月02日 13:40:27

github地址:https://github.com/openai/improved-gan/


What:

提出了对于GANs新的结构和训练过程。主要focus在两个应用:半监督学习 和  更好的图像产生。

对于G,不要求一个和test data和像的模型,也不要求不使用label。

实验中,D在半监督分类任务上达到了state-of-art的结果。

G在MNIST样本人已经无法分辨,CIFAR10的样本人也有21.3%的概率认错。


How:

训练GANs 其实是一个找纳什均衡的问题。但这个均衡很难找到,cost函数不是凸的。

所以引入了一些策略来鼓励收敛。

1. Feature matching

为G设定一个新的目标函数。

替代原先的最大化D的目标,新的目标是用G去产生数据来匹配真实数据。 D还是和原来一样。

f(x)  代表D中的一个中间层,新的目标函数为  f(G(x))  和  f(z)  的二范数最小。


2.minibatch discrimination

孤立的看一个个sample,容易使G收敛到一个点(这就是我之前跑实验常遇到的问题啊!!!)

之前DCGAN里面用batch normal其实也是为了让D不孤立的去看sample。

所以作者提出了使用minibatch discrimination,意思是我们不孤立的看sample,加入sample之间的信息,来写D。(G的objective不变,还是最大化D)

公式的主要意思是,除了D中原来的f(x)外,加入一个信息,就是minibatch 中 f(x)之间的距离  (在bp的时候会有作用)

(作者还提到在训练分类器时,feature matching会表现得更好)


3.Historical averaging

加入了一个正则项。


4.One-side label smoothing

把gt的label  从1,0变成0.9,0.1

generate还是 1和 0


5.VBN

batch normalize 依赖minibatch里面的其他数据。这会有影响。所以提出了一个 virtual batch normalise

每次sample的时候另外再sample一个batch 根据这个batch做norm  (这只使用在G中)






版权声明:本文为博主原创文章,未经博主允许不得转载。

深度学习界明星:生成对抗网络与Improving GAN

2014年,深度学习三巨头之一IanGoodfellow提出了生成对抗网络(Generative Adversarial Networks, GANs)这一概念,刚开始并没有引起轰动,直到2016年,...
  • broadview2006
  • broadview2006
  • 2017年11月13日 14:44
  • 700

从传统GAN到improved WGAN

最近做了一个从传统GAN到improved WGAN的报告,把PPT贴上来吧,有需要的小伙伴可以参考一下。论文主要涉及到17年的三篇文章: Arjovsky M, Bottou L. Towards ...
  • omnispace
  • omnispace
  • 2017年09月02日 06:12
  • 998

阅读小结An Improved Deep Learning Architecture for Person Re-Identification

Author: Ejaz Ahmed,Michael Jones and Tim K. Marks  http://www.cv-foundation.org/openaccess/content_c...
  • Layumi1993
  • Layumi1993
  • 2016年07月09日 19:28
  • 1465

网格计算的希望:商业应用

网格计算的希望:商业应用 设想一下: 一家票务公司要销售滚石乐队的告别演出门票,IT部门经理担心,开始网上售票后,公司的服务器和软件会不会不堪重负?但实际上该公司并没有增加数十个服务器和存储系统,有关...
  • leijungood
  • leijungood
  • 2004年01月16日 15:45
  • 1462

Improved Techniques for Training GANs

Improved Techniques for Training GANspaper codeIntroduce对抗网络主要有两个应用:半监督学习和生成视觉相似图片。对抗网络的目的要训练生成网络G(...
  • zijin0802034
  • zijin0802034
  • 2017年03月02日 20:14
  • 2380

GAN:生成式对抗网络介绍和其优缺点以及研究现状

本博文是转载自一篇博文,介绍GAN(Generative Adversarial Networks)即生成式对抗网络的原理以及GAN的优缺点的分析和GAN网络研究发展现状...
  • Bixiwen_liu
  • Bixiwen_liu
  • 2016年12月28日 16:43
  • 11069

Reading Note: Progressive Growing of GANs for Improved Quality, Stability, and Variation

TITLE: Progressive Growing of GANs for Improved Quality, Stability, and Variation
  • joshua_1988
  • joshua_1988
  • 2017年11月12日 13:37
  • 169

GAN系列学习(1)——前生今世

作者:刘威威编辑:李文臣11.GAN的 ‘前世’?大家都知道GAN是Ian Goodfellow 2 014年放出的一篇开山之作,在深度学习界评价很高,可以说GAN的出现,给深度学习界带来了很多的研究...
  • u013709270
  • u013709270
  • 2017年12月09日 00:00
  • 739

GANs学习系列(2):GANs最新进展二

reference:http://blog.csdn.net/solomon1558/article/details/52338052 文献整理   ...
  • u011534057
  • u011534057
  • 2016年09月01日 17:05
  • 5484

GANs系列

GANs系列 最近在调研自动生成文本方面的内容,这里我将参考了一些资料并对这些知识点进行了整理总结,初步总结如下: 目录GANs DCGAN WGAN GANs 生成对抗网络是一种生成模型(G...
  • AndrewLee_
  • AndrewLee_
  • 2017年03月07日 19:08
  • 1402
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:阅读小结:Improved Techniques for training GANS
举报原因:
原因补充:

(最多只允许输入30个字)