本文介绍了玻尔兹曼机的起源、结构和在解决搜索及学习问题上的应用。讨论了不同类型的Boltzmann Machines，如高阶、条件和平均场Boltzmann Machines，并详细阐述了受限玻尔兹曼机（RBM）的概念。此外，还探讨了Boltzmann Machines与其他模型的联系以及在学习过程中遇到的挑战和解决策略。
文章目录
Boltzmann Machines起源
在上一篇博客Hopfield神经网络学习(HNN)中，我们提到Hopefield网络容易发生串扰或陷入局部最优解，导致网络不能正确的识别模式，Boltzmann Machines通过让每个单元按照一定的概率分布发生状态变化可以解决这个问题。
Boltzmann Machines的结构
Boltzmann Machines保持了Hopefield的假设：
- 权重对称
- 自身无连接
- 二值输出
输出单元 i i i有一定的概率改变自身的值，首先需要计算它的总输入 z i z_i zi:
(1) z i = b i + ∑ j s j w i j z_i=b_i+\sum_js_jw_{ij}\tag{1} zi=bi+j∑sjwij(1)
上式中 w i j w_{ij} wij是连接单元 i i i和 j j j的权重，然后单元 i i i会按照下面的概率更新自身：
(2) p r o b ( s i = 1 ) = 1 1 + e − z i prob(s_i=1)=\frac{1}{1+e^{-z_i}}\tag{2} prob(si=1)=1+e−zi
最低0.47元/天 解锁文章
扫一扫
293
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
