深度学习-深度信念（置信）网络（DBN）-从原理到实现（DeepLearnToolBox）

之前的文章有些地方不太完善，故补充完善一下。
2017-4-10。

---

深度信念网络，DBN，Deep Belief Nets，神经网络的一种。既可以用于非监督学习，类似于一个自编码机；也可以用于监督学习，作为分类器来使用。

从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。从监督学习来讲，其目的在于使得分类错误率尽可能地小。而不论是监督学习还是非监督学习，DBN的本质都是Feature Learning的过程，即如何得到更好的特征表达。

---

作为神经网络，神经元自然是其必不可少的组成部分。DBN由若干层神经元构成，组成元件是受限玻尔兹曼机（RBM）。

首先来了解一下受限玻尔兹曼机（RBM）：
RBM是一种神经感知器，由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。如下图所示：

在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。
这样，就可以用下面函数表示一个RBM的能量：

$$E(v,h) = -\Sigma_{i=1}^{N_v}b_iv_i-\Sigma_{j=1}^{N_h}c_jh_j-\Sigma_{i,j=1}^{N_v,N_h}W_{ij}v_ih_j\space\space\space\space (1)$$
在一个RBM中，隐层神经元 $h_j$被激活的概率：

P(hj|v)=σ(bj+Σi