概率图模型

引入

图是指由结点以及连接结点的边组成的集合。结点和边的集合分别记作V和E，图记作G=<V，E>。图分为有向图和无向图，区别是边是否有方向。
若将图和概率结合起来，赋予结点和边概率中的含义，就组成了概率图模型。其中，图整体构成了概率空间，图中的结点表示概率空间中的随机变量，图中的边表示了随机变量之间的关系。

概率图模型的分类

概率图模型大致分为两个类别：贝叶斯网络（BN）和马尔科夫随机场（MRF）。贝叶斯网络采用有向无环图来表示因果关系，马尔科夫随机场采用无向图来表示变量之间的关系。（环指关联两个重合结点的边）局部有向模型，即同时存在有向边和无向边的模型，包括条件随机场、链图等。
在有向图模型中，直接相连的两个结点肯定是非条件独立的，即是有直接的因果关系的，父节点是“因”，子节点是“果”。但很多时候，两个变量相关不代表两个变量之间存在“因果关系”，如下图x1和x3的关系。因而有了无向图模型。在无向图模型中，相连的两个结点之间可能相关，但不一定是“因果”，相关是不分方向的。

马尔可夫性

马尔可夫性分为：成对马尔可夫性、局部马尔可夫性、全局马尔可夫性。三者是等价的。
成对马尔可夫性：给定所有其他变量，任意两个非邻接变量条件独立。
局部马尔可夫