GAN的诞生-Generative Adversarial Networks

语雀地址:https://www.yuque.com/docs/share/ad7ba04e-4c1b-42ca-aa89-1d65823efff3

一、论文情况

论文

《Generative Adversarial Networks》,NIPS 2014

 

1406.2661.pdf

 

二、引言

1.GAN产生的大环境

2012年至2014年期间

  • 判别式深度模型 (更受关注)
    • AlexNet (2012)
    • NIN(2012)
    • VGG(2014)
    • GoogleNet(2014)
  • 生成式模型 (少、杂)
    • DBM(2009)
    • VAE(2014)
    • NCE(2010)

生成式模型方向研究人员少、相关模型少、相关深度模型更少;原理复杂、推导复杂、实现复杂

2. GAN同时期的其他相关工作

2.1 最常规模式

2.1.1 方法特点

对目标对象的概率分布建模,并将其表达为具体的某种参数形式,然后通过最大似然一类的方法来训练模型。

2.1.2 代表方法

  • DBM

2.1.3 不足

通常得到的似然分布都无法直接求解,需要依赖许多近似算法或采样算法等。

2.2 无需具体的参数化形式

2.2.1 方法特点

用其他形式代替最大似然优化

2.2.2 相关方法

GSN-2014

2.2.3 方法核心

假设一条马尔科夫链的稳态稳步是数据的真实分布,然后将马尔科夫链中的求解操作替换为可以用梯度反传来执行的操作。

3. GAN类似类型的工作

  • 同样利用判别式准则来辅助训练产生式模型,如NCE
  • 同样利用两个网络相互训练,如Predictability

 

 

  • Minimization,VAE
  • 诱因——VAE:由可微分的两个网络构成,结合随机BP+近似推断进行训练

三、核心思想

image.png

 

 

优化K次D,再优化一次G

 

 

四、实验结果与分析

image.png

 

 

改进点

  • 条件式生成模型
  • 改进z,不直接从噪声出发
  • 迁移学习
  • 半监督学习
  • 提升模型效率

 

五、总结

框架本身特色:是框架,不是单一模型

理论保证:有唯一最优解

 

六、代码复现

 

1_mnist - Jupyter Notebook.pdf

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值