关闭

GAN之父在NIPS 2016上做的报告:两个竞争网络的对抗(含译文下载)

11759人阅读 评论(0) 收藏 举报
分类:

GAN之父在NIPS 2016上做的报告:两个竞争网络的对抗


作者:Ian Goodfellow
翻译:七月在线DL翻译组
译者:范诗剑 汪识瀚 李亚楠
审校:管博士 寒小阳 加号
责编:翟惠良 July
声明:本译文仅供学习交流,有任何翻译不当之处,敬请留言指正。转载请注明出处。
下载https://ask.julyedu.com/question/7664


前言

    今年春节前,萌生一个想法,深度学习越发火热,但一些开创性的论文多半来自国外,如果组织一些朋友把这些英文论文翻译成中文,是不是可以让信息流通的更快、更顺畅?

    说干就干。春节前两周组建好七月在线DL翻译组,然后翻译组的小伙伴们即开始翻译,有一组更是在春节期间翻译了GAN之父在NIPS 2016上做的长达60页的报告,当时着实震惊了一把。而且,这篇报告中的GAN也不过是2016年刚火起来,如此,本报告兼具经典和最新,值得好好学习一下。


    下面,我们就来看看GAN之父到底在这篇长达60页的论文当中说了些啥。

    事情回到2016年的NIPS上,Ian Goodfellow做了主题为《生成对抗网络(Generative Adversarial Networks)》的报告,当时他的报告包括以下主题:
  1. 为什么生成式模型是一个值得研究的课题
  2. 生成式模型的工作原理,以及与其他生成模型的对比
  3. 生成式对抗网络的原理细节
  4. GAN相关的研究前沿
  5. 目前结合GAN与其他方法的主流图像模型
关于原英文精辟演示文稿请点击——
PDF版:www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf
KeyNote版:www.iangoodfellow.com/slides/2016-12-04-NIPS.key


一句话描述GAN——

    GAN之所以是对抗的,是因为GAN的内部是竞争关系,一方叫generator,它的主要工作是生成图片,并且尽量使得其看上去是来自于训练样本的。另一方是discriminator,其目标是判断输入图片是否属于真实训练样本
    更直白的讲,将generator想象成假币制造商,而discriminator是警察。generator目的是尽可能把假币造的跟真的一样,从而能够骗过discriminator,即生成样本并使它看上去好像来自于真实训练样本一样。

如下图中的左右两个场景:


为什么要研究GAN

    你或许会这么以为:对于计算机视觉领域该模型虽然能提供更多的图像,但这恰恰是真实世界并不缺少的


GAN的基本原理

生成对抗网络是一种生成模型(Generative Model),其背后最基本的思想就是从训练库里获取很多的训练样本(Training Examples),从而学习这些训练案例生成的概率分布。
- 生成模型为高维分布的表示与处理提供了一个绝佳的测试机会——此类高维分布往往是工程应用中的重要研究对象;

- 生成式模型能以多种方式嵌入至强化学习中;

- 生成模型可以接受缺失训练数据,或者可以被用来预测缺失数据。生成对抗模型,使得机器学习可以处理复合式问题。


基于GAN的应用

——iGAN(交互式生成对抗网络)

    用户可以绘制一幅草稿,然后iGAN会使用GAN模型来生成最相似的合理图像。

——IAN(自省对抗网络)


——图对图变换

    将单幅卫星图像变为地图;将涂鸦转化为相片级别图像等;由于许多这样的转换都存在超过一种的正确输出,为保证模型训练的正确性,使用生成模型就有了必要性。


GAN之最大似然估计的模型


GAN的损失函数


DCGAN——深度的卷积GAN


GAN的tips和tricks——(下文简称t&t)

    很难具体的说哪些技巧更有效,实际情况是,它们可以在某些任务中提升效果,也可能在另一些任务中起相反作用。因此这些技巧可以拿来尝试,但不要把它们当成是某种最优方法。具体包括:使用标签参与训练;单边标签平滑;将batch normalization虚拟化;是否平衡G和D(小编理解:作者目前的观点是,GANs主要是估计两个概率密度分布的比值,而只有当鉴别器足够完美时才有可能正确估值。所以这里更应该强化D函数)。
关于怎样训练GAN模型,详见GitHub库:http://github.com/soumith/ganhacks

t&t1.使用标签参与训练

t&t2.单边标签平滑

    GAN的工作方式是让discriminator估算两个概率密度分布的比值,但是深度神经网络倾向于生成过高置信度的结果,容易走极端,这对模型是不利的。尤其是基于对抗生成的网络,它的分类器倾向线性推断并产生出置信度极高的结果。

t&t3.将batch normalization虚拟化



后记

  • 关于我们。七月在线DL翻译组是由一群热爱翻译、热爱DL、英语六级以上的研究生或博士组成,有七月在线的学员,也有非学员。本翻译组翻译的所有全部论文仅供学习交流,宗旨是:汇集顶级内容 帮助全球更多人。目前已经翻译数十篇顶级DL论文,详见:https://ask.julyedu.com/question/7612
  • 加入我们。如果你过了英语六级、是研究生或博士、且熟练DL、热爱翻译,欢迎加入我们翻译组,微博私信@研究者July
  • GAN课程。为了帮助更多人更好的了解、学习、入门GAN,今年上半年,我们七月在线亦会开《生成对抗网络班》,从头到尾详解GAN的原理及其实战应用,敬请期待。
    七月在线July、二零一七年三月七日。

6
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

GAN之父在NIPS 2016上做的报告:两个竞争网络的对抗(含译文下载)

GAN之父在NIPS 2016上做的报告:两个竞争网络的对抗(含译文全文PDF下载)作者:Ian Goodfellow翻译:七月在线DL翻译组译者:范诗剑 汪识瀚 李亚楠审校:管博士 寒小阳 加号责编...
  • v_JULY_v
  • v_JULY_v
  • 2017-03-06 23:32
  • 11759

论文阅读,GAN 生成对抗网络 2014 Goodfellow原文阅读笔记

2014Generative Adversarial Nets(精读2017.3.2)Goodfellow, Bengio et al. NIPS2014 蒙特利尔大学摘要一种新的生成式框架,同时...
  • qdhy199148
  • qdhy199148
  • 2017-03-07 19:28
  • 1716

对抗网络用于人脸转正--Beyond Face Rotation

Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Fro...
  • zhangjunhit
  • zhangjunhit
  • 2017-04-18 16:57
  • 2586

ICCV2017 | 一文详解GAN之父Ian Goodfellow 演讲《生成对抗网络的原理与应用》(附完整PPT)

当地时间 10月 22 日到10月29日,两年一度的计算机视觉国际顶级会议 International Conference on Computer Vision(ICCV 2017)在意大利威尼斯开...
  • dQCFKyQDXYm3F8rB0
  • dQCFKyQDXYm3F8rB0
  • 2017-10-23 00:00
  • 610

生成式对抗网络 NIPS 2016 课程 第 3 节

本文转载自知乎专栏UAI人工智能专栏 本报告总结了 NIPS 上 Ian Goodfellow 的 生成式对抗网络课程。其内容有:(1)为何生成式建模是值得学习的话题; (2)生成式模型如何工作,GA...
  • hgfm100
  • hgfm100
  • 2017-06-12 19:22
  • 187

NIPS 2016 Tutorial: Generative Adversarial Networks GAN简介

如果说新手如何快速了解GAN,那么这篇论文tutorial应该会被大家推荐。首先作者牛,Ian Goodfellow就是GAN之父;其次文章详细,不仅有技术,也有背景、思想、技巧。我也同样是一名GAN...
  • Yan_Joy
  • Yan_Joy
  • 2017-04-21 15:59
  • 1787

生成对抗网络(GAN)的前沿进展(论文、报告、框架和Github资源)汇总

生成模型(GenerativeModel)是一种可以通过学习训练样本来产生更多类似样本的模型。在所有生成模型当中,最具潜力的是生成对抗网络(Generative Adversarial Network...
  • love666666shen
  • love666666shen
  • 2017-07-11 14:00
  • 1009

GANs中的明星StarGAN:使用单一模型执行多个域的图像转换,GAN之父点赞

2017年可谓“GANs之年”,各种基于GANs的模型和变化层出不穷。近日,来自韩国首尔大学、Naver等研究者发布了一篇“StarGAN:Unified Generative Adversarial...
  • c2a2o2
  • c2a2o2
  • 2017-12-06 15:18
  • 52

从PM到GAN——LSTM之父Schmidhuber横跨22年的怨念

本文作者郑华滨,原载于知乎专栏AI带路党。AI研习社已获作者授权转载。 考虑到现在网上关于GAN的文章、视频都已经非常多了,所以我就故意选择了一个之前没有什么人讲过的主题:LSTM之父Sch...
  • Y0W1as5eg37urFdS
  • Y0W1as5eg37urFdS
  • 2017-11-12 00:00
  • 53

微软ASP.NET之父Scott Gu中国行,作为微软中国开发者代表参加会面并做英文报告

非常荣幸,受邀作为微软中国开发者代表[爱你]用英文作报告,向大神ASP.NET之父Scott Gu,微软全球高级副总裁介绍中国云计算与开发者现状。套图
  • book_frank_xl
  • book_frank_xl
  • 2014-09-16 22:22
  • 1999
    个人资料
    • 访问:13453599次
    • 积分:50343
    • 等级:
    • 排名:第70名
    • 原创:159篇
    • 转载:0篇
    • 译文:6篇
    • 评论:13916条
    博主简介
    July,于2010年10月11日开始在CSDN上写博(搜索:“结构之法”,进入本博客),博客专注面试、算法、机器学习。2015年正式创业,七月在线创始人兼CEO,公司官网:七月在线(https://www.julyedu.com/),微博@研究者July。新书《编程之法》15年10月14日起正式上市。JulyEdu AI 交流Q群:204292834。July,2018/1月。
    July和他朋友们的创业平台
    我的微博
    July新书《编程之法》上市
    博客专栏
    最新评论