机器学习笔记之受限玻尔兹曼机(二)模型表示

引言

上一节基于马尔可夫随机场介绍了玻尔兹曼分布，本节将介绍受限玻尔兹曼机的模型表示(Representation)。

回顾：玻尔兹曼分布

基于Hammersley-Clifford定理，可以将马尔可夫随机场$\mathcal{G}$中关于随机变量集合的联合概率分布$\mathcal{P}(\mathcal{X})$表示为如下形式：
$$\mathcal{P}(\mathcal{X})=\frac{1}{\mathcal{Z}}\prod _{i=1}^{\mathcal{K}}{\psi }_i(x_{{\mathcal{C}}_i})$$
其中$x_{{\mathcal{C}}_i}(i=1,2,\cdots ,\mathcal{K})$表示极大团${\mathcal{C}}_i$中结点组成的随机变量集合；${\psi }_i(x_{{\mathcal{C}}_i})$表示极大团$x_{{\mathcal{C}}_i}$对应的势函数；$\mathcal{Z}$表示规范化因子。
由于势函数的恒正属性，因此通常将势函数使用能量函数进行表示：
ψ i ( x C i ) = exp ⁡ { − E [ x C i ] } i = 1 , 2 , ⋯   , K \psi_i(x_{\mathcal C_i}) = \exp \left\{-\mathbb E[x_{\mathcal C_i}]\right \} \quad i=1,2,\cdots,\mathcal K ψi​(xCi​​)=exp{ −E[xCi​​]}i=1,2,⋯,K
那么 基于能量函数表示的联合概率分布$\mathcal{P}(\mathcal{X})$被称作吉布斯分布，也称玻尔兹曼分布：
这里全部使用’玻尔兹曼分布‘进行描述。
P ( X ) = 1 Z ∏ i = 1 K exp ⁡ { − E [ x C i ] } = 1 Z exp ⁡ [ − ∑ i = 1 K E [ x C i ] ] \begin{aligned} \mathcal P(\mathcal X) & = \frac{1}{\mathcal Z} \prod_{i=1}^{\mathcal K} \exp \left\{- \mathbb E[x_{\mathcal C_i}]\right\} \\ & = \frac{1}{\mathcal Z} \exp \left[- \sum_{i=1}^{\mathcal K} \mathbb E[x_{\mathcal C_i}]\right] \end{aligned} P(X)​=Z1​i=1∏K​exp{ −E[xCi​​]}=Z1​exp[−i=1∑K​E[xCi​​]]​

此时的联合概率分布$\mathcal{P}(\mathcal{X})$明显是指数族分布的表示形式。
可以将$-{\sum }_{i=1}^{\mathcal{K}}\mathbb{E}[x_{{\mathcal{C}}_i}]$看作是’某权重矩阵‘$\mathcal{W}$与’极大团向量‘$x_{\mathcal{C}}=(x_{{\mathcal{C}}_1},x_{{\mathcal{C}}_2},\cdots ,x_{{\mathcal{C}}_{\mathcal{K}}}{)}^T$的线性组合。
1 Z exp ⁡ [ − ∑ i = 1 K E [ x C i ] ] ⇒ 1 Z exp ⁡ [ W T x C ] \frac{1}{\mathcal Z} \exp \left[- \sum_{i=1}^{\mathcal K} \mathbb E[x_{\mathcal C_i}]\right] \Rightarrow \frac{1}{\mathcal Z} \exp [\mathcal W^T x_{\mathcal C}] Z1​exp[−i=1∑K​E[xCi​​]]⇒