机器学习理论与实战（十四）概率图模型02

        02 概率图模型定义

        翻开Jordan和Wainwright著作的书，正文开始（第二章）就说概率图模型的核心就是：分解（factorization）。的确是这样的，对于复杂的概率图模型，要在复杂交织的变量中求取某个变量的边缘概率，常规的做法就是套用贝叶斯公式，积分掉其他不相干的变量，假设每个变量的取值状态为N，如果有M个变量，那么一个图模型的配置空间就有N^M，指数增长的哦，就这个配置空间已经让我们吃不消了，不可以在多项式时间内计算完成，求边缘概率就没办法开展下去了。此时分解就派上用场咯，我们想法找到一些条件独立，使得整个概率图模型分解成一个个的团块，然后求取团块的概率，这样就可以把大区域的指数增长降为小区域的指数增长。毕竟100^20这样的计算量比25*（4^20）的计算量大多咯。好了，不说这么抽象了，下面进入正题：

        先来看看图的定义，一个图由顶点V和边E组成：G=（V,E）V={1,2,...,m}，E⊂V×V，有向边用(s→t)表示，无向边用(t,s)或者(s,t)表示。一个顶点S对应一个随机变量 ，该随机变量的取值状态空间用 来表示，注意取值状态空间的标识和随机变量的标识很像。接着再来个几个变量组成的向量 ，A是几个变量组成的小集合，那么这个向量的取值状态就是所有包含变量的取值状态的笛卡尔乘积，用 表示。有了这些标识，就可以介绍有向图模型和无向图模型了，（图一）是几个有向图模型：