玻尔兹曼机

本文是博主的学习笔记，因为对玻尔兹曼机的研究不够深入，因此文章主要是根据学习资料和自己的理解浅显的叙述一遍从玻尔兹曼机到受限玻尔兹曼机，再到对比散度算法，最后到深度信念网络的过程，如有不妥的地方，还望批评改正。

玻尔兹曼机

在Hopfield神经网络中，如果发生串扰和陷入局部最优解，网络将不能正确回忆模式，而玻尔兹曼机的出现避免了局部最优解。 玻尔兹曼机网络的结构和Hopfield一样，如下图所示：

各神经单元之间相互连接，两单元之间的权重是对称的，即$w_{ij}=w_{ji}$，且没有到自身的连接，即$w_{ii}=0$，同时，每个神经单元的状态只能是0/1(也可用1/-1表示)。

玻尔兹曼机和Hopfield神经网络最大的区别是前者的输出是按照某种概率分布确定的，概率分布公式如下：
$$\{\begin{array}{l}p(x_i=1|u_i)=\frac{exp(\frac{x}{KT})}{1+exp(\frac{x}{KT}}\\ p(x_i=0|u_i)=\frac{1}{1+exp(\frac{x}{KT}}\end{array}(1)$$

如何训练玻尔兹曼机

训练步骤如下：

1. 初始化连接权重$w_{ij}$和阈值$b_i$；
2. 选取一个神经单元$i$，计算$u_i$；
3. 根据$u_i$计算输出$x_i$；
4. 按照同样的步骤计算出$x_j$，根据输出$x_i$和$x_j$的值，调整连接权重$w_{ij}$和阈值$b_i$。

重复上述2-4步骤。

步骤中$u_i$的计算与Hopfield神经网络一样，$x_i$的值也同Hopfield，即当$u_i$>0时$x_i=1$，当$u_i<0$时$x_i=0$，当$u_i=0$时$x_i=x_i$。然后根据$x_i$的值，利用公式(1)计算出$x_i$取值为1或0的概率，然后调整$x_i$的值，以同样的步骤计算$x_j$，如果$x_i$和$x_j$均为1，那么增大$w_{ij}$，网络中其它的神经单元按找同样的方法处理。

然后再向网络输入任意的模式，按照同样的步骤计算$x_i$和$x_j$，这次如果$x_i$和$x_j$均为1，那么降低$w_{ij}$，网络中其余的神经单元按照同样的方法进行处理。这种先增大权重再减小的处理方式叫做模拟退火算法。

那么，权重$w_{ij}$和偏置$b_i$的调整值如何调整？

这里使用似然函数导出：
$$L(\theta )=\prod _{n=1}^{N}p(x_n|\theta )(2)$$
这里，$\theta$是表示所有的权重和偏差，其中概率分布$p(x_n|\theta )$的定义如下：
p ( x n ∣ θ ) = 1 Z ( θ ) e x p { − E ( x , θ ) } ( 3 ) p(x_n|\theta)=\frac 1{Z(\theta)}exp\{-E(x,\theta)\} \quad\quad(3) p(xn​∣θ)=Z(θ)1​exp{−E(x,θ)}(3)
这个概率分布成为玻尔兹曼机，$E$表示能量函数，$Z(\theta )$是一个归一化常数，能保证所有概率分布总和为1，
Z ( θ ) = ∑ x e x p { − E ( x , θ ) } ( 4 ) Z(\theta)=\sum_xexp\{-E(x,\theta)\} \quad \quad (4) Z(θ)=x∑​exp{−E(x,θ)}(4)
为了便于运算，式(2)转换为对数函数，如下：
$$logL(\theta )=\sum _{n=1}^{N}logp(x_n|\theta )(5)$$
其实通过式(5)调整权重和偏置的过程就是求式(5)的梯度的过程，但目前由于计算量过大，不能快速实时计算，因此人们又提出了一种对比散度算法，这将在之后就行说明。

受限玻尔兹曼机

除了上面所说的玻尔兹曼机的网络结构之外，还有一种网络结构是将一部分神经单元隐藏起来，那么整个网络变成由可见单元与隐藏单元组成，但这使得似然函数的计算更加困难，为了解决这个问题，辛顿等人在玻尔兹曼机中加入了"层内单元之间无连接"的限制，这被成为受限玻尔兹曼机(RBM)。我们把可见变量记作$v$，隐藏变量记作$h$，那么受限玻尔兹曼机的能量函数表示如下：
$$E(v,h,\theta )=-\sum _{i=1}^n{b}_i{v}_i-\sum _{j=1}^m{c}_j{h}_j-\sum _{i=1}^n\sum _{j=1}^m{w}_{ij}{v}_i{h}_j$$
这里，$\theta$是表示所有权重和偏置，$b_i$表示第$i$个可见神经单元的偏置，$c_j$表示第$j$个隐藏神经单元的偏置。

在受限玻尔兹曼机中，状态$(v,h)$的联合概率分布为：
p ( v , h ∣ θ ) = 1 Z e x p { − E ( v , h , θ ) } Z = ∑ v , h e x p { − E ( v , h , θ ) } p(v,h|\theta)=\frac 1Zexp\{-E(v,h,\theta)\}\\ Z=\sum_{v,h}exp\{-E(v,h,\theta)\} p(v,h∣θ)=Z1​exp{−E(v,h,θ)}Z=v,h∑​exp{−E(v,h,θ)}

如何训练？

受限玻尔兹曼机的结构可以表示如下：

和玻尔兹曼机一样，训练过程中对权重$w_{ij}$和偏置$b_i,c_j$的调整也需要使用对数似然函数，表示如下：
l o g L ( θ ∣ v ) = l o g 1 Z ∑ h e x p { − E ( v , h , θ ) } logL(\theta|v)=log\frac 1 Z \sum_hexp\{-E(v,h,\theta)\} logL(θ∣v)=logZ1​h∑​exp{−E(v,h,θ)}
对各参数的调整使用的是误差反向传播算法，分别计算各参数的偏导得：
$$\begin{gathered} \frac{\partial logL(\theta |h)}{\partial w_{ij}}=p(H_j=1|v)v_i-\sum _{v}p(v)p(H_j=1|v)v_i \\ \frac{\partial logL(\theta |h)}{\partial b_i}=v_i-\sum _{v}p(v)v_i \\ \frac{\partial logL(\theta |h)}{\partial c_j}=p(H_j=1|v)-\sum _{v}p(v)p(H_j=1|v) \end{gathered}$$

然后，各参数得更新如下：
$$\begin{gathered} w_{ij}\leftarrow w_{ij}-\frac{\partial logL(\theta |h)}{\partial w_{ij}} \\ {b}_i\leftarrow b_i-\frac{\partial logL(\theta |h)}{\partial b_i} \\ {c}_j\leftarrow c_j-\frac{\partial logL(\theta |h)}{\partial c_j} \end{gathered}$$
但是上式中得${\sum }_{v}p(v)$表示所有输入模式得总和，这使得整个公式得计算量大大增加，同样的，为了解决这个问题可以使用对比散度算法。

对比散度算法

算法训练过程

1. 使用随机数初始化权重和偏置；
2. 在可见层$v^{(0)}$设置输入模式；
3. 根据概率分布公式调整隐藏层中$h^{(0)}$的值；
4. 根据输出$x_i$和$x_j$的值，调整连接权重$w_{ij}$、偏置$b_i$和$c_j$。

最后，重复步骤2-4。

这里，步骤2-3描述的过程的计算公式为(以通过初始可见层计算隐藏层的值为例)：
$$p(h_j^{(0)}=1|v^{(0)})=\sigma \left(\sum _{i=1}^n{w}_{ij}{v}_i^{(0)}+c_j\right)$$
那么接下来：
$$p(v_i^{(1)}=1|h^{(0)})=\sigma \left(\sum _{j=1}^m{w}_{ij}{h}_j^{(0)}+b_i\right)$$
这里$\sigma$表示sigmoid激活函数，为：
$$f(x)=\frac{1}{1+e^{-x}}$$

按照同样的规律迭代步骤2-3。一般在对比散度算法中，只迭代一次足够。

最终，连接权重$w_{ij}$、偏置$b_i$和$c_j$的调整值变为了：
$$\begin{gathered} w_{ij}\leftarrow w_{ij}+\eta (p(h_j^{(0)}=1|v^{(0)})v_i^{(0)}-p(h_j^{(1)}=1|v^{(1)})v_i^{(1)}) \\ {b}_i\leftarrow b_i+\eta (v_i^{(0)}-v_i^{(1)}) \\ {c}_j\leftarrow c_j+\eta (p(h_j^{(0)}=1|v^{(0)})-p(h_j^{(1)}=1|v^{(1)})) \end{gathered}$$
这里，$\eta$和神经网络一样，表示学习率。此时我们根据上式计算所有训练样本的参数，最后取平均值就是网络最后的参数。

深度信念网络

深度信念网络的结构不像受限玻尔兹曼机一样只有两层，而是由一层可见层和多层隐藏层组成，训练时使用对比散度算法先训练可见层与第一层隐藏层之间的参数，然后将这些参数作为下一层隐藏层的输入，计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：
$$p(h^{(l)}|h^{(l-1)})=(\prod _{i}f(b_i^{(l)})+\sum _j{w}_{ij}^{(l-1)}{h}_j^{(l-1)})$$

计算第二层隐藏层，如此循环下去，直到训练到最后一层。

各层的条件概率分布如下：
$$p(h^{(l)}|h^{(l-1)})=(\prod _{i}f(b_i^{(l)})+\sum _j{w}_{ij}^{(l-1)}{h}_j^{(l-1)})$$