RBM-神经网络
分层
RBM的第一层被称为可见层或者输入层,第二层叫做隐藏层。
相邻层之间是相连的,但是同层之间的节点是不相连的。也就是RBM不存在层内通信,这就是RBM中的限制所在。每一个节点都是处理输入数据的单元,每个节点随机决定是否传递输入,这里修改输入的参数都是随机初始化的。
每个X乘以一个独立的权重,然后相加后再加一个偏置项,最后将结果传递到激活函数来产生输出。
二分图
因为所有可见(或输入)节点的输入都被传递到所有的隐藏节点了,所以RBM可以被定义为对称二分图(symmetrical bipartite graph)
对称意味着每个可见节点都于一个隐藏节点相连,二分则意味着它具有两部分,或者两层。
多层
一个输入x会拥有12个权重。
一个隐藏层的输出会被传递到第二个隐藏层作为输入,从这里开始就可以有很多隐藏层。
对于简单的前馈网络,RBM节点起着自编码器的作用。
重建数据
不涉及更深层次网络的情况下,可见层和第一个隐藏层之间会存在数次前向和反向传播。
因为RBM的权重是随机初始化的,所以重建结果和原始输入数据的差距通常较大,可以将误差进行反向传播,通过迭代,直到达到某个误差最小值。
summary
(NO! tansig、sigmoid、pureline)
y
1
=
x
1
∗
w
1
1
+
x
2
∗
w
21
+
x
3
∗
w
3
1
+
x
4
∗
w
4
1
+
b
1
y_1=x_1*w_11+x_2*w21+x_3*w_31+x_4*w_41+b_1
y1=x1∗w11+x2∗w21+x3∗w31+x4∗w41+b1
x
1
=
y
1
∗
w
1
1
+
y
2
∗
w
21
+
y
3
∗
w
3
1
+
a
1
x_1=y_1*w_11+y_2*w21+y_3*w_31+a_1
x1=y1∗w11+y2∗w21+y3∗w31+a1