受限玻尔兹曼机

受限玻尔兹曼机起源于图模型的神经网络。这种神经网络是由$\text{Hopfield}$神经网络那样的相互连接型网络衍生而来的。本部分首先介绍$\text{Hopfield}$神经网络和玻尔兹曼机，然后介绍受限玻尔兹曼机，最后介绍由多个受限玻尔兹曼机堆叠组成的深度信念网络。
$\text{Hopfield}$神经网络
神经网络可分为两大类：一类是之前的多层神经网络，另一类是如下图所示的相互连接型网络。相互连接型网络不分层，单元之间相互连接。它能够根据单元的值记忆网络状态，这称为联想记忆。

霍普费尔德于1982年提出的神经网络是最典型的相互连接型网络，它具有以下优点：

• 单元之间的连接权重对称$(w_{ij}=w_{ji})$
• 每个单元没有到自身的连接$(w_{ii}=0)$
• 单元的状态变化采用随机异步更新方式，每次只有一个单元改变状态。

$\text{Hopfield}$神经网络是由$n$个二值单元组成的二值神经网络，每个单元$i(i=1,2,\cdots ,n)$ 的输出只能是$0$或$1$两个值，故而网络有$2^n$种状态。联想记忆就是当输入模式为某种状态时，输出端要给出与之相应的输出模式$y$ 。如果输入模式于输出模式一致，就称为自联想记忆，否则称为异联想记忆。
自联想记忆
设有由个单元组成的$\text{Hopfield}$神经网络，第$i$个单元在$t(t=0,1,2,\cdots )$时刻的输入记作$u_i(t)$，输出记作$x_i(t)$，连接权重为$w_{ij}$，阈值为$b_i(t)$，则$t+1$时刻单元的输出$x_i(t+1)$可用下式表示。$$x_i(t+1)=\{\begin{array}{ll}1& u_i(t)>0\\ x_i(t)& u_i(t)=0(1)\\ 0& u_i(t)<0\end{array}$$ $$u_i(t)=\sum _{j=1}^n{w}_{ij}{x}_j(t)-b_i(t)(2)$$如果单元接收的来自其他单元的输$x_j(t)$入的权重总和${\sum }_{j=1}^n{w}_{ij}{x}_j(t)$大于阈值$b_i(t)$，则单元的输出就取值为$1$。如果小于阈值$b_i(t)$，则单元的输出就取值为$0$。
在$\text{Hopfield}$神经网络中，每个时刻都只有一个随机选择的单元会发生状态变化。对于一个由$n$个单元组成的网络，如果要完成全部单元的状态变化，至少需要$n$个时刻。实际上，单元的状态变化会一直进行下去，直到网络达到稳定状态。各单元的最终状态就是输出模式$y$。
根据输入模式联想输出模式时，需要事先确定连接权重$w_{ij}$。而连接权重$w_{ij}$要对输入模式的训练样本进行训练后才能确定。和神经网络一样，一次训练并不能确定连接权重，而是要不断重复这个训练过程，直到满足终止判断条件。而这个满足条件的指标就是表示$\text{Hopfield}$神经网络状态的能量函数$E$，其定义如下：$$E=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}{x}_i{x}_j+\sum _{i=1}^n{b}_i{x}_i(3)$$
当输入模式与输出模式一致时，能力函数$E$的结果为$0$。
根据公式$(1)$和$(2)$中定义的状态变化规则改变网络状态时，公式$(3)$中定义的能力函数$E$总是非递增的，即随时间的不断增加而逐渐减小，直到网络达到稳定状态。
下面证明能力函数的这种性质，即随时间的不断增加而逐渐减小，将公式$(3)$的能量函数分解成单元$k$的能量函数和$k$以外的单元的能量函数，这样公式$(3)$可表示如下：$$\begin{array}{rl}E=& -\frac{1}{2}\sum _{i̸=k}^n\sum _{j̸=k}^n{w}_{ij}{x}_i{x}_j-\sum _{i̸=k}^n{b}_i{x}_i\\ & -\frac{1}{2}\left(\sum _j^n{w}_{kj}{x}_j+\sum _i^n{w}_{ik}{x}_i\right)x_k+b_k{x}_k(4)\end{array}$$

从$t$时刻至$t+1$时刻，单元$k$的输出值变化如下：$$x_k(t)\to x_k(t+1)(5)$$此时，$\Delta x_k=x_k(t+1)-x_k(t)$的结果会变为$1$或$-1$。
由于$\text{Hopfield}$神经网络采用随机异步更新方式，所以除单元$k$以外，其他单元的状态不发生变化。同时$\text{Hopfield}$神经网络为对称网络，$w_{ij}=w_{ji}$，故于单元$k$的状态变化量$\Delta x_k$相应的能量函数变化量$\Delta E_k$如下所示：$$\begin{array}{rl}\Delta E_k& =-\frac{1}{2}\left(\sum _{j=1}^n{w}_{kj}{x}_j+\sum _{i=1}^n{w}_{ik}{x}_i\right)\Delta x_k+b_k\Delta x_k\\ & =-\left(\sum _{j=1}^n{w}_{kj}{x}_j-b_k\right)\Delta x_k(6)\end{array}$$ 用$u_k$表示公式$(6)$中最终结果括号内的内容，则可得到下式。$$\Delta E_k=-u_k\Delta x_k(7)$$根据公式$(1)$中定义的状态变化规则，当$\Delta x_k>0$时，$x_k$的值从$0$变为$1$，即如果$u_k>0$，则$\Delta E_k<0$,当$\Delta x_k<0$时，$x_k$的值从$1$变为$0$，这时由于$u_k<0$，则$\Delta E_k<0$。另外，当$\Delta x_k=0$时，$\Delta E_k=0$，因此任何情况下，下式都成立$$\Delta E_k⩽0(8)$$由此可见，随着时间的推移，能量函数$E$会不断减小。
接下来，我们将$P$个模式输入到网络中，训练网络的连接权重，以记忆这些模式。模式用$x^s=\left(x_1^s,x_2^s,\cdots ,x_n^s\right)(s=1,2,\cdots ,P)$表示。所谓记忆模式$x^s$，就是求与模式对应的能量函数的极小值。阈值为$0$时，与模式$x^s$ 对应的能量函数如下所示：$$E^s=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}^s{x}_i^s{x}_j^s(9)$$为了使能量函数收敛于极小值，可以作如下假设：$$w_{ij}^s=x_i^s{x}_j^s(10)$$
这样能量函数可以用公式$(11)$这样的相互影响矩阵来表示$$E^s=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\left(x_i^s\right)}^2{\left(x_j^s\right)}^2(11)$$网络需要记忆$P$个模式，因此所有模式的连接权重如下所示$$w_{ij}=\frac{1}{P}\sum _{s=1}^P{w}_{ij}^s=\frac{1}{P}\sum _{s=1}^P{x}_i^s{x}_j^s(12)$$

玻尔兹曼机

如果发生串扰或陷入局部最优解，$\text{Hopfield}$神经网络就不能正确地辨别模式。而玻尔兹曼机则可以通过让每个单元按照一定的概率分布发生状态变化，来避免陷入局部最优解。各单元之间的连接权重是对称的，即$w_{ij}=w_{ji}$，且没有到自身的连接$\left(w_{ii}=0\right)$。此外，每个单元的输出要么是$0$，要么是$1$.这些假设与$\text{Hopfield}$神经网络相同，两者最大的区别是，$\text{Hopfield}$神经网络的输出是按照某种确定性决定的，而玻尔兹曼机的输出则如下所示，是按照某种概率分布决定的。$$\{\begin{array}{l}p\left(x_i=1|u_i\right)=\frac{\exp \left(\frac{x}{kT}\right)}{1+\exp \left(\frac{x}{kT}\right)}(13)\\ p\left(x_i=0|u_i\right)=\frac{1}{1+\exp \left(\frac{x}{kT}\right)}\end{array}$$
$T$表示温度系数$(>0)$。如下图所示，随着$kT$值的增大，$x_i$等于$1$的概率没有显著变化，相反$kT$值的减小，曲线在$0$附近的斜率急剧增大。当$T$趋于无穷时，无论$u_i$取值如何，$x_i$等于$1$或$0$的概率都分别是$\frac{1}{2}$，这种状态称为稳定状态。对于玻尔兹曼机来说，温度系数越大，跳出局部最优解的概率越高。但是温度系数增大时，获得能量函数极小值的概率就会越低，反之温度系数减小时，虽然获得能量函数极小值的概率增加了，但是玻尔兹曼机需要经历较长时间才能达到稳定状态。不过，模拟退火算法能够解决这个问题，这个算法会先采用较大的温度系数进行粗调，然后逐渐减小温度系数进行微调。根据下面的公式，就可以获得温度系数$T$的极小值。$$T=\frac{c}{\log (t+1)}(14)$$

与$\text{Hopfield}$神经网络一样，玻尔兹曼机也是相互连接型网络。网络中的所有单元都通过连接权重与其他单元相连接，训练过程也和$\text{Hopfield}$神经网络一样，步骤如下所示：

玻尔兹曼机的训练
$0.$训练准备
初始化连接权重$w_{ij}$和阈值$b_i$
$1.$调整参数

• $1.1$ 选取一个单元$i$，求$u_i$
• $1.2$ 根据$u_i$的值，计算输出$x_i$
• $1.3$ 根据输出$x_i$和$u_j$的值，调整连接权重$w_{ij}$和阈值$b_i$
  重复上述步骤$1.1$至$1.3$

首先，使用随机数或相关系数矩阵初始化连接权重。接下来，选取一个单元$i$，根据公式$(2)$计算该单元的激活值$u_i$。根据公式$(1)$可知，当$u_i>0$时$x_i=1$,当$u_i<0$时$x_i=1$,当$u_i=0$时$x_i=x_i$。然后根据$x_i$的值，利用公式$(13)$计算出$x_i$等于$1$或$0$的概率，并根据这个概率调整$x_i$的值。计算公式$(13)$得到的概率，不能直接作为$x_i$的值使用，而应该把这个概率作为出现概率来决定$x_i$的值。在调整连接权重$w_{ij}$时，按照相同步骤计算单元$j$的值$x_j$。如果$x_i$和$x_j$两者均为$1$，则增大$w_{ij}$，并对所有单元迭代实施相同处理。然后，向网络输入任意的训练样本，按照相同步骤计算$x_i$和$x_j$。如果两者均为$1$，则降低$w_{ij}$，并对所有单元迭代实施相同处理。这两种更新连接权重的处理分别称为训练和遗忘。迭代过程中使用的是模拟退火算法，逐渐减小温度系数$T$。
下面根据上述训练规则，调整连接权重$w_{ij}$和偏置$b_i$。这里使用似然函数$L(\theta )$导出调整值$$L(\theta )=\prod _{n=1}^{N}p\left(x_n|\theta \right)(15)$$这里的$\theta$是一个参数，表示所有的连接权重和偏置。根据公式$(15)$可以计算出所有组合的似然函数。此外，概率分布$p\left(x_n|\theta \right)$的定义如下所示。 p ( x n ∣ θ ) = 1 Z ( θ ) exp ⁡ { − E ( x , θ ) } ( 16 ) p\left(x_{n} | \theta\right)=\frac{1}{Z(\theta)} \exp \{-E(x, \theta)\} \qquad(16) p(xn​∣θ)=Z(θ)1​exp{−E(x,θ)}(16)公式$(16)$的概率分布就称为玻尔兹曼机。和公式$(3)$一样，$E$表示能量函数。$Z(\theta )$是归一化常数，能够使所有概率分布的总和等于$1$，可用下式表示： Z ( θ ) = ∑ x exp ⁡ { − E ( x , θ ) } ( 17 ) Z(\theta)=\sum_{x} \exp \{-E(x, \theta)\} \qquad(17) Z(θ)=x∑​exp{−E(x,θ)}(17)玻尔兹曼机引入概率分布后，公式$(15)$的似然函数可以像下面这样转换为对数似然函数。$$\log L(\theta )=\sum _{n=1}^N\log p\left(x_n|\theta \right)(18)$$当对数似然函数的梯度为$0$时，就可以得到最大似然估计量。而对于对似然函数，通过求连接权重$w_{ij}$和偏置$b_i$的相关梯度，可以求出调整值。但是，因为似然函数是基于所有单元组合来计算的，所以单元数过多将会导致组合数异常庞大，无法进行实时计算。为了解决这个问题，人们提出了一种近似算法，即对比散度$\text{(Contrastive Divergence，CD)}$算法。
玻尔兹曼机有两种构成形式：第一种全部由可见单元构成；第二种则由可见单元和隐藏单元构成。
隐藏单元与输入数据没有直接联系，但会影响可见单元的概率。假设可见单元为可见变量$v$、隐藏单元为隐藏变量$h$。玻尔兹曼机中含有隐藏变量时，概率分布仍然与前面计算的结果相同，所以这并没有解决似然函数中组合数庞大的问题。与不含隐藏变量的情况相比，玻尔兹曼机中增加隐藏变量后，参数量相应增加了一个输入数据维度。因此组合数增加，计算愈发困难。
如下图所示：

受限玻尔兹曼机
含有隐藏变量的玻尔兹曼机的网络训练非常困难。所以辛顿等人在玻尔兹曼机中加入了“层内单元之间无连接”的限制，提出了受限玻尔兹曼机。受限玻尔兹曼机是由可见层和隐藏层构成的两层结构，可见层和隐藏层又分别由可见变量了和隐藏变量构成。可见层与隐藏层之间是相互连接着的，而相同层内单元之间均无连接。受限玻尔兹曼机的能量函数如下所示：$$E(v,h,\theta )=-\sum _{i=1}^n{b}_i{v}_i-\sum _{j=1}^m{c}_j{h}_j-\sum _{i=1}^n\sum _{j=1}^m{w}_{ij}{v}_i{h}_j(19)$$ $b_i$是可见变量的偏置，$c_j$是隐藏变量的偏置，$w_{ij}$是连接权重，$\theta$是表示所有连接权重和偏置的参数集合。能量函数$E(v,h,\theta )$，可见变量$v_i$和隐藏变量$h_j$的乘积即表示两者之间的相关程度，其与连接权重$w_{ij}$一致时，能够得到参数的最大似然估计量。状态$(v,h)$的联合概率分布如下所示。 p ( v , h ∣ θ ) = 1 Z exp ⁡ { − E ( v , h , θ ) } ( 20 ) p(v, h | \theta)=\frac{1}{Z} \exp \{-E(v, h, \theta)\} \qquad(20) p(v,h∣θ)=Z1​exp{−E(v,h,θ)}(20) Z = ∑ v , h exp ⁡ { − E ( v , h , θ ) } ( 21 ) Z=\sum_{v, h} \exp \{-E(v, h, \theta)\} \qquad(21) Z=v,h∑​exp{−E(v,h,θ)}(21)

在受限玻尔兹曼机的训练过程中，需要计算的参数包括可见变量的$b_i$，隐藏变量的偏置$c_j$，以及连接权重$w_{ij}$。和玻尔兹曼机一样，计算时也需要使用对数似然函数。 log ⁡ L ( θ ∣ v ) = log ⁡ 1 Z ∑ h exp ⁡ { − E ( v , h , θ ) } = log ⁡ ∑ h exp ⁡ { − E ( v , h , θ ) } − log ⁡ ∑ v , h exp ⁡ { − E ( v , h , θ ) } ( 22 ) \begin{aligned} \log L(\theta | v) &amp;=\log \frac{1}{Z} \sum_{h} \exp \{-E(v, h, \theta)\} \\ &amp;=\log \sum_{h} \exp \{-E(v, h, \theta)\}-\log \sum_{v, h} \exp \{-E(v, h, \theta)\} \end{aligned} \qquad(22) logL(θ∣v)​=logZ1​h∑​exp{−E(v,h,θ)}=logh∑​exp{−E(v,h,θ)}−logv,h∑​exp{−E(v,h,θ)}​(22)对公式$(22)$求导计算梯度
然后计算连接权重$w_{ij}$和偏置$b_i,c_j$。
∂ log ⁡ L ( θ ∣ v ) ∂ θ = ∂ ∂ θ ( log ⁡ ∑ h exp ⁡ ( − E ( v , h , θ ) ) ) − ∂ ∂ θ ( log ⁡ ∑ v , h exp ⁡ ( − E ( v , h , θ ) ) ) = − 1 ∑ n exp ⁡ { − E ( v , h , θ ) } ∑ v , h exp ⁡ { − E ( v , h , θ ) } ∂ E ( v , h , θ ) ∂ θ + 1 ∑ v , h exp ⁡ { − E ( v , h , θ ) } ∑ v , h exp ⁡ { − E ( v , h , θ ) } ∂ E ( v , h , θ ) ∂ θ = − ∑ h p ( v ∣ h ) ∂ E ( v , h , θ ) ∂ θ + ∑ v , h p ( v , h ) ∂ E ( v , h , θ ) ∂ θ ( 23 ) \begin{aligned} \frac{\partial \log L(\theta | v)}{\partial \theta}=&amp; \frac{\partial}{\partial \theta}\left(\log \sum_{h} \exp (-E(v, h, \theta))\right)-\frac{\partial}{\partial \theta}\left(\log \sum_{v, h} \exp (-E(v, h, \theta))\right) \\ =&amp;-\frac{1}{\sum_{n} \exp \{-E(v, h, \theta)\}} \sum_{v, h} \exp \{-E(v, h, \theta)\} \frac{\partial E(v, h, \theta)}{\partial \theta} \\ &amp;+\frac{1}{\sum_{v, h} \exp \{-E(v, h, \theta)\}} \sum_{v, h} \exp \{-E(v, h, \theta)\} \frac{\partial E(v, h, \theta)}{\partial \theta} \\=&amp;-\sum_{h} p(v | h) \frac{\partial E(v, h, \theta)}{\partial \theta}+\sum_{v, h} p(v, h) \frac{\partial E(v, h, \theta)}{\partial \theta} \qquad(23) \end{aligned} ∂θ∂logL(θ∣v)​===​∂θ∂​(logh∑​exp(−E(v,h,θ)))−∂θ∂​⎝⎛​logv,h∑​exp(−E(v,h,θ))⎠⎞​−∑n​exp{−E(v,h,θ)}1​v,h∑​exp{−E(v,h,θ)}∂θ∂E(v,h,θ)​+∑v,h​exp{−E(v,h,θ)}1​v,h∑​exp{−E(v,h,θ)}∂θ∂E(v,h,θ)​−h∑​p(v∣h)∂θ∂E(v,h,θ)​+v,h∑​p(v,h)∂θ∂E(v,h,θ)​(23)​ $$\begin{array}{rl}\frac{\partial \log L(\theta |v)}{\partial w_{ij}}& =-\sum _{h}p(v|h)\frac{\partial E(v,h,\theta )}{\partial w_{ij}}+\sum _{v,h}p(v,h)\frac{\partial E(v,h,\theta )}{\partial w_{ij}}\\ & =\sum _{h}p(v|h)h_j{v}_i-\sum _{v}p(v)\sum _{h}p(h|v)h_j{v}_i(24)\\ & =p\left(H_j=1|v\right)v_i-\sum _{v}p(v)p\left(H_j=1|v\right)v_i\end{array}$$ $$\frac{\partial \log L(\theta |v)}{\partial b_i}=v_i-\sum _{v}p(v)v_i(25)$$ $$\frac{\partial \log L(\theta |v)}{\partial c_j}=p\left(H_j=1|v\right)-\sum _{v}p(v)p\left(H_j=1|v\right)(26)$$ 接下来，各参数形式就可以更新如下。$$w_{ij}\leftarrow w_{ij}-\frac{\partial \log L(\theta |v)}{\partial w_{ij}}(27)$$ $$b_i\leftarrow b_i-\frac{\partial \log L(\theta |v)}{\partial b_i}(28)$$ $$c_j\leftarrow c_j-\frac{\partial \log L(\theta |v)}{\partial c_j}(29)$$ 然后迭代更新。不过，和玻尔兹曼机一样，受限玻尔兹曼机也同样存在问题。${\sum }_{v}P(v)$是所有输入模式的总和，不可避免会产生庞大的计算量。要想解决这个问题，可以使用$\text{Gibbs}$采样$(\text{Gibbs Sampling})$算法进行迭代计算求近似解，但即使这样处理，迭代次数也仍然非常多，于是，人们又提出了对比散度算法这种近似算法。

对比散度算法
对比散度算法也是一种近似算法，能够通过较少的迭代次数求出参数调整值。参数的调整步骤如下所示。
$0.$训练准备
初始化连接权重$w_{ij}$和阈值$b_i$
$1.$调整参数

• $1.1$ 在可见层$v^{(0)}$设置输入模式
• $1.2$ 调整隐藏层中单元$h^{(0)}$的值
• $1.3$ 根据输出$x_i$和$x_j$的值，调整连接权重$w_{ij}$偏置$b_i$和偏置$c_j$
• $1.4$调整连接权重和偏置
  重复上述步骤$1.1$至$1.4$

深度信念网络
深度信念网络由受限玻尔兹曼机通过堆叠组成，与多层神经网络或卷积神经网络最大的区别是网络的训练方法不同。训练神经网络或卷积神经网络时，首先要确定网络结构，根据最顶层的误差调整连接权重和偏置。具体做法是使用误差反向传播算法，把误差反向传播到下一层，调整所有的连接权重和偏置。而深度信念网络则如图所示，是使用对比散度算法，逐层来调整连接权重和偏置的。具体做法是首先训练输入层和隐藏层之间的参数，把训练后得到的参数作为下一层的输入，再调整该层与下一个隐藏层之间的参数。然后逐次迭代，完成多层网络的训练。

深度信念网络既可以当作生成模型来使用，也可以当作判别模型来使用。作为生成模型使用时，网络会按照某种概率分布生成训练数据。概率分布可根据训练样本导，但是覆盖全部数据模式的概率分布很难导出。所以，这里使用最大似然估计法训练参数，得到最能覆盖训练样本的概率分布。这种生成模型能够去除输入数据中含有的噪声，得到新的数据，也能够进行输入数据压缩和特征表达。而作为判别模型使用时，需要在模型顶层添加一层来达到分类的功能。就像手写字符识别那样，判别模型能够对输入数据进行分类。受限玻尔兹曼机不能单独作为判别模型使用，必须在顶层增加特殊的层才能进行数据分类。
设深度信念网络的各层为$l=0,1,\cdots ,L$，可见层为$v(0)$，隐藏层的单元为$h^{(l)}$。各层的条件概率分布如下所示。$$p\left(h^{(l)}|h^{(l-1)}\right)=\left(\prod _{i}f\left(b_i^{(l)}+\sum _j{w}_{ij}^{(l-1)}{h}_j^{(l-1)}\right)\right)$$隐藏层中一个单元的条件概率分布如下所示。
$$p\left(h_j^{(1)}|h^{(l-1)}\right)=f\left(b_i^{(l)}+\sum _j{w}_{ij}^{(l-1)}{h}_j^{(l-1)}\right)$$利用上式，设$h^{(0)}=v$，迭代调整各层的参数。
玻尔兹曼机起源于$\text{Hopfield}$神经网络这种相互连接型神经网络，在此基础上人们又提出了受限玻尔兹曼机。深度学习之所以变得如此流行，受限玻尔兹曼机功不可没，堆叠式的想法也由此诞生。虽然当前的主流技术是卷积神经网络和自编码器，但是受限玻尔兹曼机可用于卷积神经网络的预训练等，因此仍然是一项非常重要的技术。

《图解深度学习》 山下隆义著 张弥译