keras 受限玻尔兹曼机_Deep Belief Nets

Overview

深度信念网络(DBN)是神经网络的一种：

无监督学习：自编码机

有监督学习：分类器

DBNs是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。(？？？并不明白神马意思，但是不明觉厉的我决定搬过来)

作为一种神经网络，其基础构建模型为受限玻尔兹曼机(Restricted Bolzman Machine)，in short -> DBN是由多层RBM组成的。分析DBN表现出的性质与其局限性均需从RBM入手。

受限玻尔兹曼机(RBM)

RBM是一种神经感知器，由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。如下图所示：

[DBN structure](http://blog.csdn.net/win_in_action/article/details/25333671)

上面这张图是一个完整的DBN的模型，我简化一下大概这样：

DBN = RBMs = Hs + V

RBM = H + V

其中相邻两层即为一个RBM，每个RBM层以上一RBM层的输出(h)为输入(v)，并向下一层RBM提供输入(v)。像堆积木一样一层层垒上去，就成了“深”度学习模型DBNs。如下图为一个RBM层的结构：<