1.深度信念网络（Deep Belief Networks, DBNs）
深度信念网络（Deep Belief Networks, DBNs）是由Geoffrey Hinton于2006年提出的一种经典深度生成模型，它通过将多个受限玻尔兹曼机（RBM）单元堆叠在一起进行训练。每一层都可以对输入数据的概率分布进行建模，而每个RBM的输出又可以作为下一层输入。
RBM是一种无向的生成式能量模型，具有可见输入层和隐藏层，层与层之间有连接，但同一层内的单元之间没有连接。这种结构组合导致了一种快速的逐层无监督训练过程，其中对比散度（Contrastive Divergence，CD）算法依次应用于每个子网络。
在训练单个 RBM 时，权重更新：
w
i
j
(
t
+
1
)
=
w
i
j
(
t
)
+
η
∂
log
(
p
(
v
)
)
∂
w
i
j
w_{ij}(t+1)=w_{ij}(t)+\eta\frac{\partial\log(p(v))}{\partial w_{ij}}
wij(t+1)=wij(t)+η∂wij∂log(p(v))
其中，
p
(
v
)
p(v)
p(v)是可见向量概率，定义为：
p
(
v
)
=
1
Z
∑
h
e
−
E
(
v
,
h
)
p(v)=\frac{1}{Z}\sum_he^{-E(v,h)}
p(v)=Z1h∑e−E(v,h)
这里，
Z
Z
Z是配分函数（正则化），
E
(
b
,
h
)
E(b,h)
E(b,h)是分配给网络状态的能量函数，能量越低，表示网络处于“理想”配置。
DBN从下到上分别将每层信念网络当做RBF进行训练，然后固定当前层权值，取样当前层的隐层作为下一层的输入。
2.灰狼算法GWO原理
3.结果展示
4.参考文献
[1] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. science, 2006, 313(5786): 504-507.
[2] https://snowkylin.github.io
扫一扫
323
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
