28 玻尔兹曼机 Boltzmann Machine

玻尔兹曼机（Boltzmann Machine）在“受限玻尔兹曼机”那一章就有了简单的描述。在那一章我们就较为详细的分析过了，由于Boltzmann machine 中的依赖关系过于复杂，它的Learning 和Inference问题基本是intractable。所以，为了简化而提出了受限玻尔兹曼机（Restricted Boltzmann Machine）。
但是，为什么又重新谈谈这个似乎不太好的模型呢？主要原因是Boltzmann Machine 是深度信念网络（DBN），前馈神经网络等网络结构的基础，大名鼎鼎的变分推断（Variational Inference）也是Hinton为求解Boltzmann machine 而提出的。

1 Introduction

Boltzmann machine 节点之间为任意连接，节点可以分为可观测变量$v$ 和不可观测变量$h$。每个节点都符合{0, 1} 的伯努利分布。Boltzmann machine 模型的概率图示意图如下所示：

其中， v D × 1 ∈ { 0 , 1 } D , h P × 1 ∈ { 0 , 1 } P v_{D \times 1} \in\{0,1\}^{D}, h_{P \times 1} \in\{0,1\}^{P} vD×1​∈{0,1}D,hP×1​∈{0,1}P 。根据“受限玻尔兹曼" 那节的知识，可以得出，概率图的联合概率分布为：
{ P ( v , h ) = 1 2 exp ⁡ { − E ( v , h ) } E ( v , h ) = − ( v ⊤ ⋅ W ⋅ h + 1 2 v ⊤ ⋅ L v + 1 2 h ⊤ ⋅ J ⋅ h )         ( 1 ) \left\{\begin{array}{l} P(v, h)=\frac{1}{2} \exp \{-\mathrm{E}(v, h)\} \\ \mathrm{E}(v, h)=-\left(v^{\top} \cdot W \cdot h+\frac{1}{2} v^{\top} \cdot L v+\frac{1}{2} h^{\top} \cdot J \cdot h\right) \end{array}\right. \ \ \ \ \ \ \ (1) {P(v,h)=21​exp{−E(v,h)}E(v,h)=−(v⊤⋅W⋅h+21​v⊤⋅Lv+21​h⊤⋅J⋅h)​       (1)
其中， $L={\left[L_{ij}\right]}_{D\times D},J={\left[J_{ij}\right]}_{P\times P},W={\left[w_{ij}\right]}_{D\times P}$ 。我相信坚持学到这里的同学们，对于机器学习的数学推导变换一定有了较好的基础。实际上矩阵的相乘就是用简单的方式来表示连加，在涉及到求导运算时，矩阵相乘来代替连加符号，可以简化推导过程。比如， $v^{\top }\cdot W\cdot h={\sum }_{i=1}^D{\sum }_{j=1}^P{v}_i{w}_{ij}{h}_j$. 而 $\frac{1}{2}{v}^{\top }\cdot Lv$ 前面为什么光乘上 $1/2$ 呢? 实际上打开就知道了 $,v^{\top }\cdot Lv={\sum }_{i=1}^D{\sum }_{j=1}^D{v}_i{w}_{ij}{v}_j,$ 那么很显然 $v_i{w}_{ij}{v}_j=v_j{w}_{ji}{v}_i$。 所以，所有的值都被加了两次，而我们的目的只翠求 $v$ 集合中的任意两个点的 邦积，只需要加一次即可，当然需要乘上 $\frac{1}{2}$ 。
而这个 $\frac{1}{2}$ 又乘与不乘都没有关系，因为 $\frac{1}{2}$ 可以藏在 $L$ 里面，在 Learning 的过程中，自动的缩小 $\frac{1}{2}$ 就可以了。在此问题中，要学习的參数集合为 θ = { W , L , J } \theta=\{W, L, J\} θ={W,L,J}

2 基于极大似然的梯度上升

既然是基于极大似然的梯度上升，显然离不开两个部分，极大似然函数和梯度。总所周知，极大化然估计的主要思路是，使极大似然函数最大时的参数。首先明确一下，要求的参数为 θ = { W , L , J } \theta=\{W, L, J\} θ={W,L,J} 样本與合 $v,|v|=D.$ 那么，似然函数为：
$$\sum _{v}P(v)=\sum _v\sum _{h}P(v,h)$$

那么对数似然函数为（实际上 $\frac{1}{D}$ 加不加对于求解没有什么关系，为了严谨起见还是加上）:
$$\frac{1}{D}\sum _v\log P(v)$$

2.1 似然导数求解

那么，下一步就是对对数似然函数求导，即为：
$$\frac{\partial }{\partial \theta }\frac{1}{D}\sum _v\log p(v)=\frac{1}{D}\sum _v\frac{\partial \log p(v)}{\partial \theta }(2)$$
在“直面配分函数”那章的公式（27），我们已经详细的推导了Boltzmann Distribution 的log 似然梯度，
$$\frac{1}{D}\frac{\partial }{\partial \theta }\log P(v)=\frac{1}{D}\left(\sum _h\sum _{v}P(h,v)\frac{\partial }{\partial \theta }\mathrm{E}(h,v)-\sum _{h}P(h|v)\frac{\partial }{\partial \theta }\mathrm{E}(h,v)\right)$$
我们主要研究的是对$w$ 的求导，对其他两个参数矩阵的求导都一样，而且比$w$ 要更简单一点，这里主要是对$w$ 求导。小编狠下心来，系统的看了一下矩阵求导，迟早都要学的，建议大家也可以系统的看看，挺有帮助的。那么对$w$ 参数矩阵的求导如下所示：
$$\begin{array}{rl}\frac{\partial \log p(v)}{\partial W}& =\sum _v\sum _{h}p(v,h)\cdot -\left(v{h}^{\top }\right)-\sum _{h}p(h|v)\cdot -\left(v{h}^{\top }\right)\\ & =\sum _{i}p(h|v)\cdot v{h}^{\top }-\sum _T\sum _{h}p(v,h)\cdot v{h}^{\top }\end{array}$$
其中， $\mathrm{E}(v,h)=-\left(v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv+\frac{1}{2}{h}^{\top }Jh\right)$ 。注意一下，这里的 $v$ 和 $h$ 矩阵的大小分别为 $,D\times 1$和 $P\times 1$。 $v^{\top }Wh$ 是一个一维的，那么对 $W_{D\times P}$ 求导，得到的也必然是一个 $D\times P$ 的矩阵。那么，很简单可以得到：
$$\frac{1}{D}\sum _v\frac{\partial \log P(v)}{\partial W}=\frac{1}{D}\sum _v\sum _{h}p(h|v)\cdot v{h}^T-\frac{1}{D}\sum _v\sum _v\sum _{h}P(v,h)\cdot v{h}^T(5)$$
看到其中的 $\frac{1}{D}{\sum }_v{\sum }_v{\sum }_{h}P(v,h)\cdot v{h}^T,$ 对 $v$ 和 $h$ 求完和以后，显然 ${\sum }_v{\sum }_{h}P(v,h)\cdot v{h}^T$ 是一个常数$C$。 所以 $frac1D{\sum }_v{\sum }_v{\sum }_{h}P(v,h)\cdot v{h}^T=\frac{1}{D}{\sum }_{v}C=\frac{1}{D}D\cdot C={\sum }_v{\sum }_{h}P(v,h)\cdot v{h}^T\cdot$ 所公式(5) 可以改写为：
$$\frac{1}{D}\sum _v\frac{\partial \log P(v)}{\partial W}=\frac{1}{D}\sum _v\sum _{h}P(h|v)\cdot v{h}^T-\sum _v\sum _{h}P(v,h)\cdot v{h}^T(6)$$
而公式（6）可以被简写为：
$$\frac{1}{D}\sum _v\frac{\partial \log P(v)}{\partial W}={\mathbb{E}}_{P_{\text{ant }}}\left[v{h}^{\top }\right]-{\mathbb{E}}_{P_{\text{model }}}\left[v{h}^{\top }\right]$$
其中，
$$\begin{array}{l}{P}_{\text{data }}=P_{\text{data }}(v)\cdot P_{\text{model }}(h|v)\\ P_{\text{model }}=P_{\text{model }}(v,h)\end{array}(8)$$
为什么这样表达呢? 实际上老师说的很模糊，我谈谈自己的理解。在 ${\sum }_v{\sum }_{h}P(v,h)$ 中, $P(v,h)$ 是生成 模型，本身就是我们建立的模型，所以被称为 Pmodel。而在 ${\sum }_v{\sum }_{h}P(h|v)$ 首先从经验分布 $P(v)$ 从采 样得到 $v,$ 然后利用模型分布来求解 $P(h|v),$ 所以 $P_{\text{data }}=P_{\text{data }}(v)\cdot P_{\text{model }}(h|v{)}_{\circ }$ 采样出 $P_{\text{model }}(h|v)$ 和 $P_{\text{model }}(v)$ 就可以求解出 $P_{\text{model }}(h,v)$ 了。按照同样的方法可以求得对 { L , J } \{L, J\} {L,J} 的导数。

2.2 似然梯度下降法汇总

• Boltzmann Machines 中的节点可以分为可观测变量集合 v 和不可观测变量集合 $h.$ 每个节点属 于 $0/1$ 分布， v D × 1 ∈ { 0 , 1 } D , h P × 1 ∈ { 0 , 1 } P v_{D \times 1} \in\{0,1\}^{D}, h_{P \times 1} \in\{0,1\}^{P} vD×1​∈{0,1}D,hP×1​∈{0,1}P
• 参数集合为： θ = { W , L , J } \theta=\{W, L, J\} θ={W,L,J} 。参数矩阵的大小为： $L={\left[L_{ij}\right]}_{D\times D},J={\left[J_{ij}\right]}_{P\times P},W={\left[w_{ij}\right]}_{D\times P}$
• Boltzmann Distribution 的模型表示为：
  { P ( v , h ) = 1 2 exp ⁡ { − E ( v , h ) } E ( v , h ) = − ( v ⊤ ⋅ W ⋅ h + 1 2 v ⊤ ⋅ L v + 1 2 h ⊤ ⋅ J ⋅ h ) \left\{\begin{array}{l} P(v, h)=\frac{1}{2} \exp \{-\mathrm{E}(v, h)\} \\ \mathrm{E}(v, h)=-\left(v^{\top} \cdot W \cdot h+\frac{1}{2} v^{\top} \cdot L v+\frac{1}{2} h^{\top} \cdot J \cdot h\right) \end{array}\right. {P(v,h)=21​exp{−E(v,h)}E(v,h)=−(v⊤⋅W⋅h+21​v⊤⋅Lv+21​h⊤⋅J⋅h)​
• 求解参数用到极大似然估计，Log-Likelihood Function 为：
  $$\frac{1}{D}\sum _v\log P(v)$$
• 通过计算可以得到每个参数矩阵的似然梯度为：
  $$\{\begin{array}{l}\Delta W=\alpha \left({\mathbb{E}}_{p_{\text{data }}}\left[v{h}^{\top }\right]-{\mathbb{E}}_{p_{\text{moaca }}}\left[v{h}^{\top }\right]\right)\\ \Delta L=\alpha \left({\mathbb{E}}_{p_{\text{data }}}\left[v{v}^{\top }\right]-{\mathbb{E}}_{p_{\text{maadet }}}\left[v{v}^{\top }\right]\right)\\ \Delta J=\alpha \left({\mathbb{E}}_{\text{pdata }}\left[h{h}^{\top }\right]-{\mathbb{E}}_{p_{\text{moaci }}}\left[h{h}^{\top }\right]\right)\end{array}$$
  其中：
  $$\{\begin{array}{l}{P}_{\text{data }}=P_{\text{data }}(v)\cdot P_{\text{model }}(h|v)\\ P_{\text{model }}=P_{\text{model }}(v,h)\end{array}(12)$$

2.3 小结

通过上述的求解发现，梯度的统计量只和$v,h$ 相关，只不过分布不一样而已。RBM 也是一种特殊的Boltzmann Machines，RBM 的求解比较的简单。在“直面配分函数”那一章中可以看到，RBM在化简完毕后，$P_{data}=P_{data}(v)$ 不需要考虑$P_{model}(h|v)$，这样计算起来就非常简单，梯度在理论上很干净。在前馈神经网络中Gradient 需要使用链式求导法则，计算起来非常的复杂。而这里就不一样，只要解决了后验$P_{model}(h|v)$ 就可以了。那么，下一个重点就是如何从后验$P_{model}(h|v)$中进行采样。

3 基于MCMC 的似然梯度下降

3.1 MCMC 似然梯度求解总述

在第二小节中，我们已经讲到了，使用梯度上升法来使log 似然函数达到最大，从而求解对应的最优参数。参数更新公式为：

$$\begin{array}{l}{\theta }^{(t+1)}={\theta }^{(t)}+\Delta \theta \end{array}$$
其中，$△\theta =${$△W,△L,△J$ }。以$△W$ 为例，$△W$ 是一个矩阵$△W=[△w_{ij}]$。其中，
$$\begin{array}{l}\Delta w_{ij}=\alpha [\underset{\text{Postive phase }}{{\mathbb{E}}_{P_{\text{Pata }}}\left[v_i{h}_j\right]}-\underset{\text{Negative phase }}{{\mathbb{E}}_{P_{\text{modati }}\left[v_i{h}_j\right]}}]\end{array}$$
这个 Postive 和 Negative phase 巾说法，我们在“直面配分所数”那章有详细的描述。那么，现 在的难点就是 $v_i{h}_j$ 从何而来。 回忆一下，在 RBM 中， $P(h|v)$ 是可以直接求出来的。
$$P(h|v)=\prod _{l=1}^{m}P\left(h_l|v\right)={\left(\sigma \left(\sum _{j=1}^n{w}_{lj}{v}_i+{\beta }_l\right)\right)}^k{\left(1-\sigma \left(\sum _{j=1}^n{w}_{lj}{v}_i+{\beta }_l\right)\right)}^{m-k}$$
而 $P_{\text{data }}$ 直接从样本中进行采样就可ル了，而 $P_{\text{model }}(v,h)$ 为：
$$\begin{array}{rl}P(h,v)h_i{v}_j& =\sum _h\sum _{v}P(v)P(h|v)h_i{v}_j\\ & =\sum _{v}P(v)\sum _{h}P(h|v)h_i{v}_j\\ & =\frac{1}{Z}\exp \left({\alpha }^{T}v+\sum _{i=1}^m\log \left(1+\exp \left(w_{i}v+{\beta }_i\right)\right)\right)\sigma \left(\sum _{j=1}^n{w}_{ij}{v}_i+{\beta }_i\right)v_j\end{array}(16)$$
这个分布过于复杂，当时采用的是基于对于散度的 Gibbs 采样来解决。而在 Boltzmann Machines 中,Postive phase 和 Negative phase 都是 Intractable。所以，Hinton 捉出了用 MCMC 来对 $P(h|v)$ 进行采样。

这里再明确一下逻辑，在求解$△W$ 中，主要是解决三个部分，$P_{data}(v),P_{model}(h|v),P_{model}(v,h)$，其中 $P_{\text{model }}(v,h)=P_{\text{model }}(h|v)\cdot P_{\text{model }}(v).$ 所以, 而 $P_{\text{data }}(v)$ 和 $P_{\text{modol }}(v)$ 相对比较简单，所以 难点在于 $P_{model}(h|v)$ 的求解。而在RBM 中Pmodel (h|v) 比较容易求解，而$P_{model}(v,h)$ 过于复杂，所以要采用MCMC 来解决。而在Boltzmann Machines 中，由于关系过于复杂，没有办法分解，甚至最大团分解都没有用，因为最大团就是自己，那么连$P_{model}(h|v)$ 都求不出来，那么Postive phase 和Negative phase 都是Intractable。

很幸运的是，通过推导，可以街到：
$$\begin{array}{l}P\left(v_i=1|h,v_{-i}\right)=\sigma \left({\sum }_{j=1}^P{w}_{ij}{h}_j+{\sum }_{k=1\backslash i}^D{L}_{ik}{v}_k\right)\\ P\left(h_j=1|v,h_{-j}\right)=\sigma \left({\sum }_{i=1}^D{w}_{ij}{v}_i+{\sum }_{m=1}^p{J}_{jm}{h}_n\right)\end{array}（17）$$

解释一下，这两个公式是什么意思。公式表达的是，在已知一个节点以外的所有的点的条件下，这个节点的条件概率是可求的。其中$1$ \ $i$ 表达的意思是$1\sim D$ 但不包括$i$ 的所有节点。
为什么说很幸运呢？因为真实的后验是求不出来的，但是MCMC 提供了一种一维一维的采样的方法（Gibbs 采样法）。而每一个维的概率分布可以求出来，那么Gibbs 采样就可以很愉快的被使用了。而且，这个结论同时也可以在RBM 中使用，下面我们来举个例子，假设有一个RBM，如下图所示：

由于在已知$v$ 的情况下，$h$ 中的节点都是相互独立的，所以:
$$P(h|v)=\prod _{j=1}^{3}p\left(h_j|v\right)(18)$$同理可得：
$$P\left(h_j=1|v\right)=P\left(h_j=1|v,h_{-j}\right)=\sigma \left(\sum _{i=1}^D{w}_{ij}{v}_i+0\right)(19)$$
为什么 ${\sum }_{m=1\backslash j}^p{J}_{jm}{h}_n=0$ 呢? 因为， $h$ 节点内部都是相互独立的，没有边，所有都是 $0.$ 实际上在 RBM 那一章，后验是花了较大的功夫去求的。而使用公式 (17) 给出的结论，我们可以较为简单的写 出。可以看到，由于 RBM 的特殊性质，$h$ 集合之间相互独立，分解起来非常简单。在 BM 就没有这
么好了，量然每一维可以求出来，由于无法分解，求解起来根本就不可能。

3.2 条件概率推导

在3.1 节中，给出了两个条件概率分布：
$$\begin{array}{l}P\left(v_i=1|h,v_{-i}\right)=\sigma \left({\sum }_{j=1}^P{w}_{ij}{h}_j+{\sum }_{k=1\backslash i}^D{L}_{ik}{v}_k\right)\\ P\left(h_j=1|v,h_{-j}\right)=\sigma \left({\sum }_{i=1}^D{w}_{ij}{v}_i+{\sum }_{m=1}^p{J}_{jm}{h}_n\right)\end{array}(20)$$

这一节，就来详细的推导一下：
P ( v i ∣ h , v − i ) = P ( v , h ) P ( h , v − i ) = 1 Z exp ⁡ { − E ( v , h ) } ∑ v i 1 Z exp ⁡ ( − E ( v , h ) } = exp ⁡ { v ⊤ W h + 1 2 v ⊤ L v + 1 2 h ⊤ J h } ∑ v i exp ⁡ { v ⊤ W h + 1 2 v ⊤ L v + 1 2 h ⊤ J h } = exp ⁡ { v ⊤ W h + 1 2 v ⊤ L v } ⋅ exp ⁡ { 1 2 h ⊤ J h } exp ⁡ { 1 2 h ⊤ J h } ⋅ ∑ v i exp ⁡ { v ⊤ W h + 1 2 v ⊤ L v } \begin{aligned} P\left(v_{i} | h, v_{-i}\right) &=\frac{P(v, h)}{P\left(h, v_{-i}\right)}=\frac{\frac{1}{Z} \exp \{-\mathbb{E}(v, h)\}}{\sum_{v_{i}} \frac{1}{Z} \exp (-\mathbb{E}(v, h)\}}=\frac{\exp \left\{v^{\top} W h+\frac{1}{2} v^{\top} L v+\frac{1}{2} h^{\top} J h\right\}}{\sum_{v_{i}} \exp \left\{v^{\top} W h+\frac{1}{2} v^{\top} L v+\frac{1}{2} h^{\top} J h\right\}} \\ &=\frac{\exp \left\{v^{\top} W h+\frac{1}{2} v^{\top} L v\right\} \cdot \exp \left\{\frac{1}{2} h^{\top} J h\right\}}{\exp \left\{\frac{1}{2} h^{\top} J h\right\} \cdot \sum_{v_{i}} \exp \left\{v^{\top} W h+\frac{1}{2} v^{\top} L v\right\}} \end{aligned} P(vi​∣h,v−i​)​=P(h,v−i​)P(v,h)​=∑vi​​Z1​exp(−E(v,h)}Z1​exp{−E(v,h)}​=∑vi​​exp{v⊤Wh+21​v⊤Lv+21​h⊤Jh}exp{v⊤Wh+21​v⊤Lv+21​h⊤Jh}​=exp{21​h⊤Jh}⋅∑vi​​exp{v⊤Wh+21​v⊤Lv}exp{v⊤Wh+21​v⊤Lv}⋅exp{21​h⊤Jh}​​
由于 $\exp \left\{\frac{1}{2}{h}^{\top }Jh\right\}$ 和 $v$ 没有关系，所以被单独提出来准备约掉。那么有：
$$P\left(v_i|h,v_{-i}\right)=\frac{\exp \left\{v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv\right\}}{{\sum }_{v_i}\exp \left\{v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv\right\}}$$

令$v_i=1$ 和分母部分没有关系，因为${\sum }_{v_i}$ 之后，是和$v_i$ 无关的部分了。所以，
$$P\left(v_1=1|h,v_{-1}\right)=\frac{{\exp \left\{v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv\right\}|}_{v_1-1}}{\exp \left\{v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv\right\}{\left|v_t-1+\exp \left\{v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv\right\}\right|}_{v_1-0}}$$
为了简化公式，我们将公式简化为
$$\mathbf{P}\left(v_i=1|\mathbf{h},v_{-i}\right)=\frac{\Delta |v_i-1}{\Delta |v_v-0}+{\Delta |}_{|{\mathbf{b}}_i-1}(24)$$
下一步很自然的想到，将包含$v_i$ 的项，从公式中分离，然后赋予相应的值
$$\begin{array}{rl}\Delta v_{\mathrm{i}}=& \exp \left\{v^{\top }wh+\frac{1}{2}{v}^{\top }Lv\right\}=\exp \left\{\sum _{i=1}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\frac{1}{2}\sum _{i=1}^D\sum _{k=1}^D{v}_i{L}_{\hat{i}k}{v}_k\right\}\\ =& \exp \{\sum _{i=1\backslash 1}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\sum _{j=1}^P{v}_i{w}_{ij}{h}_j\\ & +\frac{1}{2}\left(\sum _{i=1\backslash i}^D\sum _{k=1}^D{v}_i{L}_{ik}{v}_k+v_i{L}_{i1}{v}_i+\sum _{i=1}^D{v}_i{L}_{i1}{v}_i+\sum _{k=11}^D{v}_i{L}_{ik}{v}_k\right)\}\end{array}$$
又因为 $L_n=0,$ 且 $L$ 矩阵是对称的，所以 ${\sum }_{i-1\backslash c}^D{v}_i{L}_{\hat{i}i}{v}_i={\sum }_{k-1\backslash t}^D{v}_i{L}_{ik}{v}_k.$ 所以,
$$\begin{array}{rl}\Delta v_i& =\exp \left\{\sum _{i=1\backslash i}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\frac{1}{2}\left(\sum _{\hat{i}=1\backslash i}^D\sum _{k=1}^D{v}_i{L}_{\hat{i}k}{v}_k+2\sum _{\hat{k}=1\backslash i}^D{v}_i{L}_{ik}{v}_k\right)\right\}\\ & =\exp \left\{\sum _{i=1\backslash i}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\sum _{j=1}^P{v}_i{w}_{ij}{h}_j+\frac{1}{2}\sum _{\hat{i}=1\backslash i}^D\sum _{k=1}^D{v}_i{L}_{\hat{i}k}{v}_k+\sum _{\hat{k}=1\backslash i}^D{v}_i{L}_{ik}{v}_k\right\}\end{array}$$

其中， $\frac{1}{2}{\sum }_{i=1}^D{\sum }_{k=1}^D{v}_i{L}_{ik}{v}_k$ 是按这样的方式进行分解：
$$\{\begin{array}{ll}i\ne i,k\ne i& (D-1)(D-1)\\ \hat{i}=i,k=i& 1\\ \hat{i}=i,k\ne i& (D-1)\\ \hat{i}\ne i,k=i& (D-1)\end{array}(27)$$
而 $(D-1)(D-1)+(D-1)+(D-1)+1=D^2$
那么，使用公式（26）的推导结界，可以得到：
Δ v i = 0 = exp ⁡ { ∑ i = 1 \ i D ∑ j = 1 p v i w i j h j + 1 2 ∑ i = 1 \ i D ∑ k = 1 D v i L i k v k } = exp ⁡ { A + B }       ( 28 ) \Delta v_{i=0}=\exp \left\{\sum_{i=1 \backslash i}^{D} \sum_{j=1}^{p} v_{i} w_{i j} h_{j}+\frac{1}{2} \sum_{i=1 \backslash i}^{D} \sum_{k=1}^{D} v_{i} L_{i k} v_{k}\right\}=\exp \{A+B\} \ \ \ \ \ (28) Δvi=0​=exp⎩⎨⎧​i=1\i∑D​j=1∑p​vi​wij​hj​+21​i=1\i∑D​k=1∑D​vi​Lik​vk​⎭⎬⎫​=exp{A+B}     (28)
其中， $A={\sum }_{i-1\backslash i}^D{\sum }_{j-1}^P{v}_i{w}_{ij}{h}_j,B=\frac{1}{2}{\sum }_{i-1\backslash i}^D{\sum }_{k=1}^D{v}_i{L}_{ik}{v}_k.$ 同理可得
$$\Delta v_{i=1}=\exp \left\{A+B+\sum _{j=1}^P{w}_{ij}{h}_j+\sum _{k=1\backslash \mathfrak{d}}^D{L}_{ik}{v}_k\right\}(29)$$
所以，将公式（28）和（29）的结果代入到公式（24）中可得：
P ( v i = 1 ∣ h , v − i ) = Δ ∣ v i = 1 Δ ∣ v i = 0 + Δ ∣ v i = 1 = exp ⁡ { A + B + ∑ j = 1 P w i j h j + ∑ k = 1 D L i L i k v k } exp ⁡ { A + B + ∣ ∑ j = 1 P w i j h j + ∑ k = 1 D L i k v k } + exp ⁡ { A + B } = exp ⁡ { ∑ j = 1 P w i j h j + ∑ k = 1 \ i D L i k v k } exp ⁡ { ∑ j = 1 P w i j h j + ∑ k = 1 D L i k v k } + 1 = σ ( ∑ j = 1 P w i j h j + ∑ k = 1 \ i D L i k v k )      ( 30 ) \begin{aligned} P\left(v_{i}=1 | h, v_{-i}\right) &=\frac{\left.\Delta\right|_{v_{i}=1}}{\left.\Delta\right|_{v_{i}=0}+\left.\Delta\right|_{v_{i}=1}} \\ &=\frac{\exp \left\{A+B+\sum_{j=1}^{P} w_{i j} h_{j}+\sum_{k=1}^{D} L_{i} L_{i k} v_{k}\right\}}{\exp \left\{A+B+| \sum_{j=1}^{P} w_{i j} h_{j}+\sum_{k=1}^{D} L_{i k} v_{k}\right\}+\exp \{A+B\}} \\ &=\frac{\exp \left\{\sum_{j=1}^{P} w_{i j} h_{j}+\sum_{k=1 \backslash i}^{D} L_{i k} v_{k}\right\}}{\exp \left\{\sum_{j=1}^{P} w_{i j} h_{j}+\sum_{k=1}^{D} L_{i k} v_{k}\right\}+1} \\ &=\sigma\left(\sum_{j=1}^{P} w_{i j} h_{j}+\sum_{k=1 \backslash i}^{D} L_{i k} v_{k}\right) \end{aligned} \ \ \ \ (30) P(vi​=1∣h,v−i​)​=Δ∣vi​=0​+Δ∣vi​=1​Δ∣vi​=1​​=exp{A+B+∣∑j=1P​wij​hj​+∑k=1D​Lik​vk​}+exp{A+B}exp{A+B+∑j=1P​wij​hj​+∑k=1D​Li​Lik​vk​}​=exp{∑j=1P​wij​hj​+∑k=1D​Lik​vk​}+1exp{∑j=1P​wij​hj​+∑k=1\iD​Lik​vk​}​=σ⎝⎛​j=1∑P​wij​hj​+k=1\i∑D​Lik​vk​⎠⎞​​    (30)
而 $P\left(h_j=1|v,h_{-j}\right)=\sigma \left({\sum }_{i=1}^D{w}_{ij}{v}_i+{\sum }_{m=1\backslash j}^p{J}_{jm}{h}_n\right)$ 的计算采用的也是同样的思路。

3.3 小结

本小节主要讲述了基于MCMC 的似然梯度下降法，不同于RBM，在BM 中后验分布$P(h|v)$ 过于复杂，所以采用MCMC 采样的思路来求解。幸运的是，P(h|v) 的条件概率是可求的，所以，可以用Gibbs 采样。然后，给出了条件概率的详细推导。

4 变分推断法求解

我们采用的是梯度上升法，那么在每一次求解梯度的过程中，都要采样得到$v{h}^{\top }$。在采样的过程中，主要是对$P_{model}(h|v)$进行采样，使用MCMC 采样的劣势大家都很清楚，无法求解大规模问题。如何求解大规模问题一直是难点，直到90 年代初，Hinton 提出了变分推断法（Variational Inference）来求$P_{model}(h|v)$。

4.1 平均场理论求解

这部分的基础思想，在“近似推断”那一章有非常详细的描述。大体上说就是通过优化下界ELBO，来达到求解的效果，有兴趣的同学请回顾“近似推断”。公式近似推断中的公式（5）可得：
$$\begin{array}{rl}\mathcal{L}& =\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}=\log P_{\theta }(v)-\mathrm{K}\mathrm{L}\left(Q_{\varphi }\Vert P_{\theta }\right)\\ & =\sum _h{Q}_{\varphi }(h|v)\log P_{\theta }(v,h)+H\left(Q_{\varphi }\right)\end{array}$$
根据平均场理论（假设分布可以分解成几个部分之积），假定 $Q_{\varphi }(h|v)={\prod }_{j=1}^P{Q}_{\varphi }\left(h_j|v\right),$ 令 $Q_{\varphi }(h_j=$ $1|v)={\varphi }_j,$ \phi就可以认为是 {} 。那么推导过程如下所示：
$$\begin{array}{rl}{\hat{\varphi }}_j& =\arg \underset{{\varphi }_j}{\max }\mathcal{L}=\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)\log P_{\theta }(v,h)+H\left(Q_{\varphi }\right)\\ & =\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)\left[-\log Z+v^{\top }Wh+\frac{1}{2}{v}^{\top }Lv+\frac{1}{2}{h}^{\top }Jh\right]+H\left(Q_{\varphi }\right)\\ & =\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)\left[-\log Z+\frac{1}{2}{v}^{\top }Lv\right]+\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)\left[v^{\top }Wh+\frac{1}{2}{h}^{\top }Jh\right]+H\left(Q_{\varphi }\right)\end{array}$$

其中, ${\varphi }_j$ 是和 $h$ 相关的参数 $,\left[-\log Z+\frac{1}{2}{v}^{\top }Lv+\right]$ 与 $\varphi$ 没有关系, $,$ 那么 ${\sum }_h{Q}_{\varphi }(h|v)\left[-\log Z+\frac{1}{2}{v}^{\top }Lv+\right]$可以写成 $\left[-\log Z+\frac{1}{2}{v}^{\top }Lv\right]{\sum }_h{Q}_{\varphi }(h|v{)}_{\circ }$ 很显然 $,{\sum }_h{Q}_{\varphi }(h|v)=1,$ 所りん $,\arg {\max }_{{\varphi }_{ȷ}}{\sum }_h{Q}_{\varphi }(h|v)\left[-\log Z+\frac{1}{2}{v}^{\top }Lv\right]$和 $\varphi$ 没有关系，可以约掉。化筒之后，
$$\begin{array}{rl}{\hat{\varphi }}_j& =\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)\left[v^{\top }Wh+\frac{1}{2}{h}^{\top }Jh\right]+H\left(Q_{\varphi }\right)\\ & =\arg \underset{{\varphi }_j}{\max }\sum _h{Q}_{\varphi }(h|v)v^{\top }Wh+\frac{1}{2}\sum _h{Q}_{\varphi }(h|v)h^{\top }Jh+H\left(Q_{\varphi }\right)\\ & =\arg \underset{{\varphi }_j}{\max }(1)+(2)+(3)\end{array}(34)$$
那么，下一步工作$h_j$ 分离出来。
$$\begin{array}{rl}1& =\sum _h{Q}_{\varphi }(h|v)\cdot \sum _{i=1}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j\\ & =\sum _h\prod _{j=1}^P{Q}_{\varphi }\left(h_j|v\right)\cdot \sum _{i=1}^D\sum _{j=1}^P{v}_i{w}_{ij}{h}_j\end{array}(35)$$
${\sum }_{i=1}^D{\sum }_{j=1}^P{v}_i{w}_{ij}{h}_j$ 中一共有 $D\times P$ 项，这里太复杂了，我们先挑一项来分析一下。

$$\begin{array}{rl}1& =\sum _h\prod _{j=1}^P{Q}_{\varphi }\left(h_{\hat{j}}|v\right)\cdot v_1{w}_{12}{h}_2\\ & =\sum _{h_2}{Q}_{\varphi }\left(h_2|v\right)\cdot v_1{w}_{12}{h}_2\sum _{h\backslash h_2}\prod _{j=1\backslash 2}^P{Q}_{\varphi }\left(h_{\hat{j}}|v\right)\end{array}$$
这里将 ${\sum }_{h\backslash h_2}{\prod }_{j=1\backslash 2}^P{Q}_{\varphi }\left(h_j|v\right)$ 提出了分析一下,
$$\sum _{h\backslash h_2}\prod _{j=1\backslash 2}^P{Q}_{\varphi }\left(h_{\hat{j}}|v\right)=\sum _{h_1}{Q}_{\varphi }\left(h_1|v\right)\sum _{h_3}{Q}_{\varphi }\left(h_3|v\right)\sum _{h_4}{Q}_{\varphi }\left(h_4|v\right)\cdots (37)$$
显然 $,{\sum }_{h_1}{Q}_{\varphi }\left(h_1|v\right)={\sum }_{h_9}{Q}_{\varphi }\left(h_3|v\right)={\sum }_{h_4}{Q}_{\varphi }\left(h_4|v\right)=\cdots =1_{\circ }$ 所以 $,{\sum }_{h\backslash h_2}{\prod }_{\hat{j}=1\backslash 2}^P{Q}_{\varphi }\left(h_{\hat{j}}|v\right)=1$
那么,
$$\begin{array}{rl}\sum _{h_2}{Q}_{\varphi }\left(h_2|v\right)\cdot v_1{w}_{12}{h}_2\sum _{h\backslash h_2}\prod _{\hat{j}=1\backslash 2}^P{Q}_{\varphi }\left(h_{\hat{j}}|v\right)& =\sum _{h_2}{Q}_{\varphi }\left(h_2|v\right)\cdot v_1{w}_{12}{h}_2\\ & =Q_{\varphi }\left(h_2=1|v\right)\cdot v_1{w}_{12}\times 1+Q_{\varphi }\left(h_2=0|v\right)\cdot v_1{w}_{12}\times 0\\ & =Q_{\varphi }\left(h_2=1|v\right)\cdot v_1{w}_{12}={\varphi }_2{v}_1{w}_{12}\end{array}$$
那么，依次类推，可以得出：
$$\text{ (1) }=\sum _{i=1}^D\sum _j^P{\varphi }_j{v}_i{w}_{ij}(39)$$

而(2)的做法相对复杂一些，基本思想和 (1) 的分解，基本一致，也是要想办法将 $h_j$ 分解出来。那么，目标为将其中和 $h_j$ 相关的项分解出来：
$$\sum _{j=1}^P\sum _{m=1}^P{h}_j{J}_{jm}{h}_m$$
大体求解思路是可以分成如下四个部分：
$$\{\begin{array}{l}\hat{j}\ne j,m\ne j\\ \hat{j}=j,m=j\\ \hat{j}=j,m\ne j\\ \hat{j}\ne j,m=j\end{array}(41)$$
其中， $\hat{j}=j,m=j$ 的情况下 $J_{jj}=0,$ 直接省略掉。 $\hat{j}=j,m\ne j$ 和 $\hat{j}\ne j,m=j$ 是对称的，相加起 来可以抵掉 $\frac{1}{2}$ 这个系数，而 $\hat{j}\ne j,m\ne j$ 的情况与 $h_j$ 无关。所以：
$$(2)=\sum _{j=1}^P\sum _{m=1\backslash j}^P{\varphi }_j{\varphi }_m{J}_{jm}(42)$$
最后一项(3) 的化简为：
$$\begin{array}{rl}\hat{3}& =\sum _{j=1}^P\left[{\varphi }_j\log \frac{1}{{\varphi }_j}+\left(1-{\varphi }_j\right)\log \frac{1}{\left(1-{\varphi }_j\right)}\right]\\ & \\ & =-\sum _{j=1}^P\left[{\varphi }_j\log {\varphi }_j+\left(1-{\varphi }_j\right)\log \left(1-{\varphi }_j\right)\right]\end{array}(43)$$
我们想得到使 ELBO 最大时对应的 ${\varphi }_j,$ 那么就对 ${\varphi }_j$ 求偏导，可以得到：
$$\{\begin{array}{l}\frac{\partial (\mathbb{D}}{\partial {\varphi }_j}={\sum }_{i=1}^D{v}_i{w}_{ij}\\ \\ \frac{\partial (\hat{\partial })}{\partial {\varphi }_j}={\sum }_{m=1}^P{\varphi }_m{J}_{jm}\\ \\ \frac{\partial (\hat{3})}{\partial {\varphi }_j}=-\log \frac{{\varphi }_j}{1-{\varphi }_j}\end{array}(44)$$
合并起来即为$$\frac{\partial [(1)+(2)+(3)]}{\partial {\varphi }_j}=0$$
解得：
$${\varphi }_j=\sigma \left(\sum _{i=1}^D{v}_i{w}_{ij}+\sum _{m=1\backslash j}^P{\varphi }_m{J}_{jm}\right)(45)$$
观察一下 ${\varphi }_j$ 的结果，里面有一个项为 ${\sum }_{m=1\backslash j}^P{\varphi }_{m\circ }$ 所以，利用公式（45）求解最终结果的方法依然
比较坎坷。

首先， { ϕ j } j = 1 P \left\{\phi_{j}\right\}_{j=1}^{P} {ϕj​}j=1P​ 都赋予一个初始值。然后依次计算 ${\varphi }_1,{\varphi }_2,\cdots ,{\varphi }_P,$ 得到的结果为第一次迭代 $\left\{{\varphi }^{(1)}\right\}$ 不断的重复这个过程，直到最后收敘为止，收敘时得到的结果 ${\left\{{\hat{\varphi }}_j\right\}}_{j=1}^P$ 就是最终的答案。实际上就是求 解不动点方程 - 公式（45），采用的是坐标上升法求解。利用不动点方程的求解结果，可以得到 $Q_{\varphi }$
$${\left\{{\hat{\varphi }}_j\right\}}_{j=1}^P⟹Q_{\varphi }$$
而 $Q_{\varphi }(h|v)\approx P_{\text{model }}(h|v),$ 那么，公式（12）中 $P_{\text{data }}$ 的计算基本解决了。那么，就不需要再进行采 样了。而对于 Pmodel 还是用 MCMC，实际上 $P_{\text{model }}(h|v),$ 采样 $P_{\text{model }}(h,v)$ 难度就小了很多了。理论上，我们给出了一个实际可行的方法。但是，每一步正向用VI，负向用Gibbs，计算复杂度还是较大的。而有很多改进的方法，比如之前讲的用基于对比散度的Gibbs 采样，还有后来的概率对比散度，Deep Boltzmann Machines 等。

5 总结

理一下这章的逻辑思路。首先，我们描述了什么是玻尔兹曼机（Boltzmann Machines），描述了其模型表示。下一个问题，就是如何利用观测数据集来求解参数，我们介绍了基于极大似然的梯度上升，经过推导得出了似然梯度的方向。但是，似然梯度中涉及到对$P_{model}$ 和$P_{data}$ 的采样。那么难点就转移到了，如何从$P_{model}$ 和$P_{data}$ 中进行采样。通过分析，得到玻尔兹曼机求解主要的难点就是$P_{model}(h|v)$很难求解。

我们和受限玻尔兹曼机的采样进行了对比，受限玻尔兹曼机中的后验$P_{model}(h|v)$ 可以直接计算，而玻尔兹曼机中不行。所以，为了求解后验分布，介绍了MCMC 中的Gibbs 采样的思想。Gibbs 采样是一维一维的采样，那么需要满足单个节点的条件概率分布可以求出。幸运的是Boltzmann Machines中可以求出。下一步则进行了单个节点条件概率的详细推导。

MCMC 虽然提供了一个理论上的可行方法。可惜，无法解决大规模求解的问题。所以，介绍了Hinton 提出的变分推断（Variational Inference），用一个简单分布$\varphi$ 来近似$P_{model}(h|v)$。通过推导，我们得到了$\varphi$ 的不动点方程，使用坐标上升法即可得到ϕ 的参数表达式。从而成功的求解$P_{model}(h|v)$。