马尔可夫逻辑网络MLN（Markov Logic Network）

马尔可夫逻辑网络MLN（Markov Logic Network）

  马尔可夫逻辑网络与贝叶斯网络有相似之处，也用于表示变量之间的依赖关系。但是，它又和贝叶斯网络有所不同。

不同点：

1. 它可以表示贝叶斯网络无法表示的一些依赖关系，如循环关系。
2. 他不能表示贝叶斯网络能够表示的某些关系，如推导关系。

马尔可夫性质：

​   马尔可夫性质（英语：Markov property）是概率论中的一个概念，因为俄国数学家安德雷·马尔可夫得名。当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态；换句话说，在给定现在状态时，它与过去状态（即该过程的历史路径）是条件独立的，那么此随机过程即具有马尔可夫性质。具有马尔可夫性质的过程通常称之为马尔可夫过程。

  马尔科夫网络是一组具有马尔可夫性质的随机变量的联合概率分布模型，它是由一个无向图G和定义于G上的势函数组成。一个无向图$G=(V,E)$每个顶点$x_i\in V$表示在集合$X$上的一个随机变量，每条边$x_i,x_j\in E(i\ne j)$表示直接相连的两个随机变量$x_i$和$x_j$之间的一种依赖关系。为了便于叙述，首先给出如下定义。

定义：假设两个图分别为$G=<V,E>$和$G_s=<V_s,E_s>$，如果$V_s\subseteq V$，并且有$E_s\subseteq E$，那么，成$G_s$为$G$的子图。

团：

  如果一个子图的任意两个结点之间都有边相连，那么这个子图就是一个完全子图（complete subgraph），一个全子图又称为一个团（clique）。一个团的完全子图称为子团。如下图，结点$x_1$和$x_4$及其边$x_1{x}_4$构成一个完全子图，结点$x_3$和$x_4$及其边$x_3{x}_4$，以及结点$x_1$、$x_3$、$x_4$及其边$x_1{x}_4$、$x_1{x}_3$和$x_3{x}_4$也分别是一个完全子图，而结点$x_2$、$x_3$、$x_4$构成的图则不是完全子图。

团势能：

  在无向图中，不用条件概率密度对模型进行参数化，而是使用有一种称为团势能（clique potential）的参数化因子。所谓团势能又称为团势能函数（clique potential function）或简称势函数，是定义在一个团上的非负实函数。每个团都对应着一个势函数，表示团的一个状态。

能量函数：

  一般用$x_C$来表示团C中所有的结点，用$\varphi (x_c)$表示团势能。如图中，两个团可以表示为 x c 1 = { x 1 , x 2 } \mathbf{x}_{c_1} = \{x_1,x_2\} xc1​​={x1​,x2​}， x c 2 = { x 1 , x 3 ， x 4 } \mathbf{x}_{c_2} = \{x_1,x_3，x_4\} xc2​​={x1​,x3​，x4​}。由于定义中要求势能函数$\varphi ({\mathbf{x}}_c)$非负，所以一般将$\varphi (x_c)$定义为：
ϕ ( x c ) = exp ⁡ { − E ( x c ) } \phi(\mathbf{x}_c) = \exp \{-E(\mathbf{x}_c)\} ϕ(xc​)=exp{−E(xc​)}，其中 { E ( x c ) } \{E(x_c)\} {E(xc​)}称为$x_c$的能量函数（energy function）。

马尔科夫网络公式：

吉布斯分布

定义：如果无向图模型能够表示成一系列在$G$的最大团（们）上的非负函数乘积的形式，这个无向图模型的概率分布P(X)就称为Gibbs分布。即：
$$P(X)=\frac{1}{Z}\prod _{c\in C_G}{\varphi }_c\left({\mathbf{x}}_{C_c}\right)$$

  如果分布$P_{\varphi }(x_1,x_2,\dots ,x_n)$的图模型可以表示为一个马尔可夫网络$H$，当$C$时$H$上完全子图的集合时，我们说$H$上的分布$P_{\varphi }(x_1,x_2,\dots ,x_n)$可以用$C$的团势能函数$\varphi ({\mathbf{x}}_c)$进行因子化： ϕ = { ϕ 1 ( x c 1 ) , … , ϕ K ( x c K ) } \phi =\{ \phi_1 (\mathbf{x}_{c_1}),…,\phi_K (\mathbf{x}_{c_K})\} ϕ={ϕ1​(xc1​​),…,ϕK​(xcK​​)}。$P_{\varphi }(x_1,x_2,\dots ,x_n)$可以看做$H$上的一个吉布斯分布（Gibbs distribution），其概率分布密度为：
$$p\left(x_1,x_2,\cdots ,x_n\right)=\frac{1}{Z}\prod _{i=1}^K{\varphi }_i\left({\mathbf{x}}_{C_i}\right)$$

其中， x c i ⊆ { x 1 , x 2 , ⋯   , x n } ( 1 ⩽ i ⩽ K ) , \mathbf{x}_{c_{i}} \subseteq\left\{x_{1}, x_{2}, \cdots, x_{n}\right\}(1 \leqslant i \leqslant K), xci​​⊆{x1​,x2​,⋯,xn​}(1⩽i⩽K), 并且满足 ⋃ i = 1 K x C i = { x 1 , x 2 , ⋯   , x n } \bigcup_{i=1}^{K} \mathbf{x}_{C_{i}}=\left\{x_{1}, x_{2}, \cdots, x_{n}\right\} ⋃i=1K​xCi​​={x1​,x2​,⋯,xn​}。

  显然，在无向图模型中每个$C_i$对应于一个团，而相应的吉布斯分布就是整个图的概率分布，图中的两个团 x c 1 = { x 1 , x 2 } \mathbf{x}_{c_1} = \{x_1,x_2\} xc1​​={x1​,x2​}， x c 2 = { x 1 , x 3 ， x 4 } \mathbf{x}_{c_2} = \{x_1,x_3，x_4\} xc2​​={x1​,x3​，x4​}就可以定义相应的吉布斯分布，因为满足条件 x c 1 ⋃ x c 2 = { x 1 , x 2 ， x 3 ， x 4 } \mathbf{x}_{c_1} \bigcup \mathbf{x}_{c_2} = \{x_1,x_2，x_3，x_4\} xc1​​⋃xc2​​={x1​,x2​，x3​，x4​}。

 因子化的乘积运算可以变成加法运算：
p ( x 1 , x 2 , ⋯   , x n ) = 1 Z exp ⁡ { − ∑ i = 1 K E C i ( x C i ) } = 1 Z exp ⁡ { − E ( x ) } p\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\frac{1}{Z} \exp \left\{-\sum_{i=1}^{K} E_{C_{i}}\left(x_{C_{i}}\right)\right\}=\frac{1}{Z} \exp \{-E(\mathbf{x})\} p(x1​,x2​,⋯,xn​)=Z1​exp{−i=1∑K​ECi​​(xCi​​)}=Z1​exp{−E(x)}
其中，$E(\mathbf{x})={\sum }_{i=1}^K{E}_{C_i}(x_{C_i})$。

参考文献：
统计自然语言处理（第二版） 宗成庆