深度学习笔记之受限玻尔兹曼机(一)玻尔兹曼分布介绍

引言

从本节开始，将介绍受限玻尔兹曼机。本节将从马尔可夫随机场开始，介绍玻尔兹曼机分布。

回顾：Hammersley-Clifford定理

在概率图模型——马尔可夫随机场的结构表示中介绍了马尔可夫随机场(Markov Random Field,MRF)以及它的因子分解证明。该证明本质上是基于Hammersley-Clifford定理的表示。Hammersley-Clifford定理主要包含两个部分：

• 定义1：一个马尔可夫随机场$\mathcal{G}$，如果如果两个结点$i_j,i_k$被观测结点$\mathcal{O}$阻断，那么$i_k,i_k$基于$\mathcal{O}$条件独立：
  这里说的‘阻断’是指‘给定观测结点’$\mathcal{O}$并作为条件。
  $$i_j\perp i_k\mid \mathcal{O}\Rightarrow \mathcal{P}(i_j,i_k\mid \mathcal{O})=\mathcal{P}(i_j\mid \mathcal{O})\cdot \mathcal{P}(i_k\mid \mathcal{O})$$
  对应概率图结构表示如下：
  这实际上就是‘全局马尔可夫性’(Global Markov Property),局部马尔可夫性、成对马尔可夫性均是由此转化而来。
  

• 定义2：马尔可夫随机场$\mathcal{G}$中关于随机变量集合$\mathcal{X}$的联合概率分布$\mathcal{P}(\mathcal{X})$能够将因子分解定义在基于团(Clique)上的恒正函数的乘积，并且这些团覆盖了$\mathcal{G}$中所有的结点和边。即：
  $$\mathcal{P}(\mathcal{X})=\frac{1}{\mathcal{Z}}\prod _{i=1}^{\mathcal{K}}{\psi }_i(x_{{\mathcal{C}}_i})$$

  其中，