deep learning资料整理

自己在学习过程中看到的非常好的资料，持续更新

请使用Ctrl+F搜索关键字，例如：RBM，DNN，生成模型等。。。

一、受限波尔兹曼机（RBM）

博主 皮果提：

（一）预备知识

（二）网络结构

（三）能量函数和概率分布

（四）对数似然函数

（五）梯度计算公式

（六）对比散度算法

（七）RBM 训练算法

（八）RBM 的评估

如果感觉上述内容中里面关于gibbs采样的没有太理解，推荐阅读以下内容：

LDA-math-MCMC 和 Gibbs Sampling(1)
LDA-math-MCMC 和 Gibbs Sampling(2)

以及Rachel-Zhang大神关于MH，Gibbs采样的实现（R语言）非常简介明了：MC, MCMC, Gibbs采样 原理&实现（in R）

生成模型与判别模型，这个讲的很详细

另外判别模型、生成模型与朴素贝叶斯方法里面有个很好理解的

下面摘出来：比如说要确定一只羊是山羊还是绵羊，用判别模型的方法是先从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。换一种思路，我们可以根据山羊的特征首先学习出一个山羊模型，然后根据绵羊的特征学习出一个绵羊模型。然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个。形式化表示为求clip_image008[12]（也包括clip_image010[8]，y是模型结果，x是特征。

生成方法：朴素贝叶斯方法、隐马尔可夫模型

判别方法：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法、条件随机场