玻尔兹曼机

波尔滋蔓机网络结构：

所有神经元全连接。

有两种输入输出结构，一是（自联想波尔滋蔓机）一部分神经元作为输入，同时也作为输出；其余神经元作为隐藏节点。二是（异联想波尔滋蔓机）一部分神经元作为输入，一部分神经元作为输出，一部分神经元作为隐藏节点。

玻尔兹曼机的约束：

（一）神经元只有0和1两种输出，当然-1和1也是一样的。

（二）两个神经元A和B，A到B的权值与B到A的权值相同。

（三）自反馈为0。

玻尔兹曼机的状态取值：

首先算出神经元的输入，然后用一个 概率来决定神经元的状态。（从算法上来讲，首先计算出神经元取1的概率，然后再【0，1】这个均匀分布上产生一个随机数，如果这个随机数小于概率，则取1，否则取0）

波尔兹曼机的收敛性：

原理是能量单调下降，但是能量有界，所以收敛。

玻尔兹曼机的训练：

分两个阶段，正向和反向阶段。

正向阶段，将输入输出的神经元状态固定，然后让神经网络根据当前的权值充分震荡，使整个网络达到热平衡的状态，或者近似热平衡的状态（状态转移次数达到 了规定的上限也停止）。

反向阶段，将输入神经元固定住（对于自联想玻尔兹曼机，我们将输入给显层之后就不再干预神经元状态了），然后让神经网络充分震荡，使整个网络达到热平衡或者近似热平衡的状态。

比较这两个阶段的分布，通过分布的差异性进行权值的调整。

分布就是p(i=1,j=1)，其计算方法是对于每个样本，i神经元和j神经元都有一个状态，那么对于所有的样本来说，i=1，j=1出现的次数除以样本数，就是p(i=1,j=1)

dw(i,j)=n*(p1(i,j)-p0(i,j))

波尔滋蔓机的运行过程实际就是反向学习过程。

波尔滋蔓机的应用：

与hopfield神经网络一样。

波尔滋蔓机的实用性很差，训练过程、运行过程时间都很长，很不实用。所以流行的软件都没有封装波尔滋蔓机的算法。