语雀地址:https://www.yuque.com/docs/share/ad7ba04e-4c1b-42ca-aa89-1d65823efff3
一、论文情况
论文
《Generative Adversarial Networks》,NIPS 2014
二、引言
1.GAN产生的大环境
2012年至2014年期间
- 判别式深度模型 (更受关注)
-
- AlexNet (2012)
- NIN(2012)
- VGG(2014)
- GoogleNet(2014)
- 生成式模型 (少、杂)
-
- DBM(2009)
- VAE(2014)
- NCE(2010)
生成式模型方向研究人员少、相关模型少、相关深度模型更少;原理复杂、推导复杂、实现复杂
2. GAN同时期的其他相关工作
2.1 最常规模式
2.1.1 方法特点
对目标对象的概率分布建模,并将其表达为具体的某种参数形式,然后通过最大似然一类的方法来训练模型。
2.1.2 代表方法
- DBM
2.1.3 不足
通常得到的似然分布都无法直接求解,需要依赖许多近似算法或采样算法等。
2.2 无需具体的参数化形式
2.2.1 方法特点
用其他形式代替最大似然优化
2.2.2 相关方法
GSN-2014
2.2.3 方法核心
假设一条马尔科夫链的稳态稳步是数据的真实分布,然后将马尔科夫链中的求解操作替换为可以用梯度反传来执行的操作。
3. GAN类似类型的工作
- 同样利用判别式准则来辅助训练产生式模型,如NCE
- 同样利用两个网络相互训练,如Predictability
- Minimization,VAE
- 诱因——VAE:由可微分的两个网络构成,结合随机BP+近似推断进行训练
三、核心思想
优化K次D,再优化一次G
四、实验结果与分析
改进点
- 条件式生成模型
- 改进z,不直接从噪声出发
- 迁移学习
- 半监督学习
- 提升模型效率
五、总结
框架本身特色:是框架,不是单一模型
理论保证:有唯一最优解
六、代码复现
1_mnist - Jupyter Notebook.pdf