深度学习初始化模型受限玻尔兹曼机模型，基本原理，二值RBM及对比散度（后续看主页）

1.受限玻尔兹曼机由可视层和隐层构成。
2.深度学习模型有深层RBM,自动编码器，深度信念网络，生成对抗网络等。
3.RBM是一种概率图形式的神经网络模型，它是玻尔兹曼机的一种特殊形式，而玻尔兹曼机又是一种特殊马尔可夫网络，马尔可夫网络又是特殊的概率无向图模式。
4.RBM也是一种特殊的能量模型。
5.基于能量的模型就是描述一些感兴趣特征与能量之间关系的模型。
6.玻尔兹曼机是一种特殊的对数线性马尔可夫随机场，因为其能量函数是参数的线性形式。
它包含m个观察单元，和n个隐藏单元，隐藏单元既要依赖于观察单元，也要依赖于其他隐藏单元，观察单元即依赖于隐藏单元也依赖于同层其他观察单元。
7.受限玻尔兹曼机是一种特殊的玻尔兹曼机，即同层之间不存在相互依赖关系，只有观察层和隐藏层之间存在关联。
8.从概率图的角度看，给定所有观察变量的值时隐藏变量之间相互独立，对称，给定所有隐藏变量的值时观察变量之间相互独立。
9.如果规定所有观察变量vi和隐藏变量hj的取值范围都为[0,1],那么这样得到的RBM一般称为二值RBM。
10.由于隐层未知且V.h的组合空间很大，联合概率分布是很难计算的，因而梯度的第二项往往采用采样（如MCMC采样）的方法。一般MCMC方法需要较多的采样步数，而针对RBM训练的对比散度算法只需要较少的步数。
11.自动编码器是一种无监督学习的算法。
12.普通的监督学习方法，每个输入都有对应的标签，即标注的期望值，模型的预测值与期望值进行相关的比较就可以得到对应的损失值，而相关比较对应的函数就是机器学习常说的损失函数。
13.无监督学习方法（但并不是所有都是这样，如聚类，pca降维等），标签直接用输入代替。
14.自动编码器一般由编码器网络和解码器网络两部分组成，编码器网络在训练和线上部署都被使用，而解码网络只在训练时被使用。
15.自动编码器的变种很多，主要有稀疏自动编码器和降噪自动编码器。
16.还有一些自动编码器的变种与降噪自动编码器的动机一样，都是增加学习的鲁棒性，比如通过修改损失函数的收缩自动编码器。