受限玻尔兹曼机

RBM-神经网络

分层

RBM的第一层被称为可见层或者输入层，第二层叫做隐藏层。

相邻层之间是相连的，但是同层之间的节点是不相连的。也就是RBM不存在层内通信，这就是RBM中的限制所在。每一个节点都是处理输入数据的单元，每个节点随机决定是否传递输入，这里修改输入的参数都是随机初始化的。

每个X乘以一个独立的权重，然后相加后再加一个偏置项，最后将结果传递到激活函数来产生输出。

二分图

因为所有可见（或输入）节点的输入都被传递到所有的隐藏节点了，所以RBM可以被定义为对称二分图（symmetrical bipartite graph)
对称意味着每个可见节点都于一个隐藏节点相连，二分则意味着它具有两部分，或者两层。

多层

一个输入x会拥有12个权重。
一个隐藏层的输出会被传递到第二个隐藏层作为输入，从这里开始就可以有很多隐藏层。

对于简单的前馈网络，RBM节点起着自编码器的作用。

重建数据

不涉及更深层次网络的情况下，可见层和第一个隐藏层之间会存在数次前向和反向传播。
因为RBM的权重是随机初始化的，所以重建结果和原始输入数据的差距通常较大，可以将误差进行反向传播，通过迭代，直到达到某个误差最小值。

summary

(NO! tansig、sigmoid、pureline)
$y_1=x_1\ast w_{1}1+x_2\ast w21+x_3\ast w_{3}1+x_4\ast w_{4}1+b_1$
$x_1=y_1\ast w_{1}1+y_2\ast w21+y_3\ast w_{3}1+a_1$