追根究底 - 马尔科夫网络

无向图解释                            

                                    

假如我们有四个人A、B、C、D，A和B可以互相交流，B和C可以互相交流，C和D可以互相交流，D和A可以互相交流，但是A和C之间不能交流，B和D之间不能交流。

                                                               

 

假如现在有4个节点(A、B、C、D)，四条边有什么含义呢，在计算A的概率的时候会受到B和D的影响，其他的节点对计算A的概率没有影响，例如可以将条件概率P(A|BCD) 写成P(A|BD)的形式，因为A事件与C事件之间没有关系，可以将条件概率P(D|ABC) 写成P(D|AC)的形式，因为D事件与B事件之间没有关系。

马尔科夫毯

什么是马尔科夫毯呢，以D为例，和D相连的节点称为马尔科夫毯，其实就是D的邻居组成的集合，由于和D相连，所以计算D的条件概率的时候需要使用这些毯子上的节点，这些毯子支撑起条件概率的计算，其他的节点取任何值都不会影响D的计算。

团的概念  

                                                       

什么是团呢，团就是一个完全图，A和B之间有一条边相连，A和B就是一个完全图，团就是任何两个点之间都有一条边相连，上图中ABC就不是一个完全图，以为A和C之间没有边相连。  

                                                              

如在上面的图中有6个团，ABD，BCD,AB，BC，CD，DA六个团，ABCD就不是一个团，那么ABD就是一个最大团，因为加入C就不是团了，所以ABD和BCD都是一个最大团，这就是最大团，最大团就是不能再扩张的团，加上任何一个节点就不再是团了。

因子函数

假设在某个团上面定义了一个函数φC，Yc表示这些顶点集，A、B、C表示的就是这个顶点集，Yc就是A、B、C组成的集合，φC就是定义Yc上面的函数，C代表的是一个团，因子函数一般定义在团上面，为什么要定义在团上面呢，因为团上面任何两个随机变量之间概率是相互影响的，这个是最适合定义因子的，如果不是定义在团上面，会出现如下结果。

                                                     

在上面的集合上面建立函数就不合适，最合适的就是在A和B上建立一个函数，在A和D上建立一个函数，才能使得分布式最简单最合理的。

吉布斯分布

得到这些因子之后可以得到吉布斯分布，吉布斯分布就是将团上面的因子函数相乘再除以一个归一化因子，如此公示，Z可以由此式定义，就是讲所有团的因子函数的结果相加上面的，φC要求是一个正函数，由于这个原因可以写成指数函数的形式，E称为能量函数，Yc作用在一个能量函数上面，然后作为e的负数幂，这个称为，E和φ之间的写法是可以互相转换的。

汉莫斯定义:假设有一堆势函数(因子函数)，将所有的势函数相乘，再除以归一化因子，这个概率分布描述的是无向图的概率图模型的联合概率分布，这个在也叫做吉布斯分布。