机器学习笔记之玻尔兹曼机(一)基本介绍

引言

在受限玻尔兹曼机——模型表示(Representation)一节中以玻尔兹曼机为引，介绍了受限玻尔兹曼机。从本节开始，将正式介绍玻尔兹曼机。相比于它的表示和推断过程，我们更关注它在求解过程中出现的问题。

回顾：玻尔兹曼机的模型表示

玻尔兹曼机本质上是一个马尔可夫随机场(MArkov Random Field)，该概率图中结点均表示离散型随机变量，并被限定为伯努利分布。

并且，概率图中结点之间的边是随意的，并没有具体约束。但如果想要描述更加复杂的函数，自然需要结点之间复杂的边作为支撑：

其中左图表示全连接玻尔兹曼机，无论是观测变量，还是隐变量，结点之间均存在边相连接；而右图同样表示玻尔兹曼机，只不过结点之间无明确约束，结点之间的边连接更加随意。

并且玻尔兹曼机并没有被严格要求一定有隐变量。也就是说，玻尔兹曼机可能是一个非隐变量模型，它的结点均由观测变量构成(Fully Observed Model)；与之相对的，从生成模型的角度考虑，我们更关注观测变量与隐变量相混合的概率图结构。

依然以包含隐变量的玻尔兹曼机为例，假设某玻尔兹曼机中包含观测变量集合$v$和隐变量集合$h$，并且$v$中的$\mathcal{D}$个分量和$h$中的$\mathcal{P}$个分量均服从伯努利分布：
{ v = ( v 1 , v 2 , ⋯   , v D ) T ∈ { 0 , 1 } D h = ( h 1 , h 2 , ⋯   , h P ) T ∈ { 0 , 1 } P \begin{cases} v = (v_1,v_2,\cdots,v_{\mathcal D})^T \in \{0,1\}^{\mathcal D} \\ h = (h_1,h_2,\cdots,h_{\mathcal P})^T \in \{0,1\}^{\mathcal P} \end{cases} { v=(v1​,v2​,⋯,vD​)T∈{ 0,1}Dh=(h1​,h2​,⋯,hP​)T∈{ 0,1}P​
关于结点之间边的权重，可以将其分成三类：

• 观测变量结点之间的边的权重表示：
  $$\mathcal{L}={\left[{\mathcal{L}}_{ij}\right]}_{\mathcal{D}\times \mathcal{D}}$$
• 隐变量结点之间的边的权重表示：
  $$\mathcal{J}={\left[{\mathcal{J}}_{ij}\right]}_{\mathcal{P}\times \mathcal{P}}$$
• 观测变量到隐变量结点之间的边的权重表示：
  同理，隐变量到观测变量结点之间的权重表示为$[{\mathcal{W}}_{ji}{]}_{\mathcal{P}\times \mathcal{D}}$,两者之间仅差一个转置，信息并没有发生变化。
  $$\mathcal{W}={\left[{\mathcal{W}}_{ij}\right]}_{\mathcal{D}\times \mathcal{P}}$$

至此，结点与边权重均已确定，关于玻尔兹曼机中随机变量(结点)的概率密度函数表示为：
P ( v , h ) = 1 Z exp ⁡ { − E ( v , h ) } \begin{aligned} \mathcal P(v,h) = \frac{1}{\mathcal Z} \exp \{- \mathbb E(v,h)\} \end{aligned} P(v,h)=Z1​exp{ −E(v,h)}​
而能量函数$\mathbb{E}(v,h)$可根据玻尔兹曼机的结构表示，有：

• 从能量的角度考虑，$v_i\cdot {\mathcal{W}}_{ij}\cdot h_j$表示结点$v_i$和结点$h_j$之间的能量表示。
• 从概率角度考虑，无论是$v_i\cdot {\mathcal{W}}_{ij}\cdot h_j$还是$v_i\cdot {\mathcal{L}}_{ij}\cdot v_j$,还是$h_i\cdot {\mathcal{J}}_{ij}\cdot h_j$,它们的‘配分函数结果’均表示‘基于某结点的条件下，其他结点发生的概率结果’。
• 观测变量$v$和隐变量$h$均需要乘以$\frac{1}{2}$是因为无向图模型，仅需要计算一次边对应的能量即可，但实际上每条边在执行运算过程中，均加重了一次。
这里取上述‘全连接玻尔兹曼机’中的观测变量内部连接为例。

观察上图，观测变量内部仅包含三条边，仅需要计算$v_1\cdot {\mathcal{L}}_{12}\cdot v_2$和$v_3\cdot {\mathcal{L}}_{32}\cdot v_2$和$v_1\cdot {\mathcal{L}}_{13}\cdot v_3$这三项即可。但实际上却加了9次：
  $$\sum _{i=1}^3\sum _{j=1}^3{v}_i\cdot {\mathcal{L}}_{ij}\cdot v_j=(v_1,v_2,v_3)\left(\begin{array}{c}{\mathcal{L}}_{11}=0,{\mathcal{L}}_{12},{\mathcal{L}}_{13}\\ {\mathcal{L}}_{21},{\mathcal{L}}_{22}=0,{\mathcal{L}}_{23}\\ {\mathcal{L}}_{31},{\mathcal{L}}_{32},{\mathcal{L}}_{33}=0\end{array}\right)\left(\begin{array}{c}{v}_1\\ v_2\\ v_3\end{array}\right)$$
  其中$\mathcal{L}$本身是实对称矩阵，对角线上包含$3$个零项；并且 L i j = L j i ( i , j ∈ { 1 , 2 , 3 } ; i ≠ j ) \mathcal L_{ij} = \mathcal L_{ji}(i,j \in \{1,2,3\};i\neq j) Lij​=Lji​(i,j∈{ 1,2,3};i=j),因而剩余$6$项加重了三项，使用$\frac{1}{2}$将多加的项去掉。
  E ( v , h ) = − [ ∑ i = 1 D ∑ j = 1 P v i ⋅ W i j ⋅ h j + 1 2