Generative adversarial nets 论文笔记

发现了一个很好的关于此论文的笔记:

http://blog.csdn.net/shenxiaolu1984/article/details/52215983

1. 首先，判别模型和生成模型的概念 （discriminative model vs. generative model）不过本文的判别和生成并不是这个意思！！！

ref： http://blog.csdn.net/Fishmemory/article/details/51711114

http://www.cnblogs.com/fanyabo/p/4067295.html

http://www.wtoutiao.com/a/1383050.html

判别式模型（Discriminative Model）是直接对条件概率p(y|x;θ)建模。常见的判别式模型有 线性回归模型、线性判别分析、支持向量机SVM、神经网络等。

生成式模型（Generative Model）则会对x和y的联合分布p(x,y)建模，然后通过贝叶斯公式来求得p(y_i|x)，然后选取使得p(y_i|x)最大的y_i，即：

常见的生成式模型有 隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等。

2.  论文中提到  So far, the most striking successes in deep learning have involved discriminative models, usually those that map a high-dimensional, rich sensory input to a class label [14, 20]. These striking successes have primarily been based on the backpropagation and dropout algorithms. 学习dropout算法。

ref:http://blog.csdn.net/hjimce/article/details/50413257

http://blog.csdn.net/feimengjuan/article/details/50324817

http://blog.csdn.net/lyy14011305/article/details/53377359

http://m.blog.csdn.net/article/details?id=50890473

防止过拟合，让某些神经元以一定的概率不工作。虽然直观上看dropout是ensemble在分类性能上的一个近似，然而实际中，dropout毕竟还是在一个神经网络上进行的，只训练出了一套模型参数

3. 论文中提到了 deep Boltzmann machine 和 generative stochastic networks.

ref:  http://blog.csdn.net/roger__wong/article/details/43374343

http://www.cnblogs.com/tianchi/archive/2013/03/14/2959716.html

4. 文中提到了maxout activations 

ref: http://blog.csdn.net/whiup/article/details/52276110