深度信念网络_深度信念网络（DBN）

1.初识深度信念网络

深度信念网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成，一个典型的网络结构如图1所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

图1

2.需要面对的问题

对于在深度神经网络应用传统的BP算法的时候，DBN遇到了以下问题：

(1)需要为训练提供一个有标签的样本集；

(2)学习过程较慢；

(3)不适当的参数选择会导致学习收敛于局部最优解。

Solution：

首先，先不考虑最顶构成一个联想记忆(associative memory)的两层，一个DBN的连接是通过自顶向下的生成权值来指导确定的，RBMs就像一个建筑块一样，相比传统和深度分层的sigmoid信念网络，它能易于连接权值的学习。</