概率图模型（PGM）/马尔可夫随机场（MRF）/条件随机场基本概念(CRF)

概率图模型：
1：为什么引入图模型：一般的问题我们都可以用概率模型去很好的解决,那么为什么又要在概率的基础上加一个图呢?在这里我们引入图结构其实是因为图结构可以将概率模型的结构可视化,应用图这是一种直观,简单的方式,可以简单的描述随机变量之间的独立性的性质,最重要的是可以将一份复杂的概率模型转化为一些简单的模型的组合。
2：有向的图模型叫做贝叶斯网络,而贝叶斯的有向无环图来表示因果关系,而无向图模型称为马尔科夫随机场,无向图表示变量间的相互作用。
（1）有向图模型 贝叶斯网络: 对于K随机变量{X1,X2,··· ,XK}和 一个有向非循环图 G，G 中的每个节点都对应一个随机变量，可以是观察变量，隐变量或是未知参数等;G中的每个连接eij 表示两个随机变量 Xi 和 Xj 之间具有非独立的因果关系。我们定义 Xπk 表示变量 Xk 的所有父节点变量集合，每个随机变量的局部条件概率(local conditional probability distribution)为 P (Xk |Xπk )。如果X = X1,X2,··· ,XK 的联合概率分布可以分解为每个随机变量 Xk 的局部条件概率的连乘形式，即：


那么 (G, X ) 构成了一个贝叶斯网络。
如何用图来表示贝叶斯网络：当我们观察条件概率时,我们必须要指明那个是条件,如果我们采用的变量是节点,采用无向图这样的节点等价关系肯定是不能描述条件概率的,因为对于一个节点说双向都可以,所以我们这里采用的是有向图,如果我们要描述p(x2|x1)就可以化成下图

在贝叶斯网络中,如果两个节点是直接相连的,他们肯定是非条件独立的,而是直接因果关系,其父节点是”因”,子节点是”果”。如果两个节点不是直接连接的,而是之间有经过其他节点的路径间接连接的,这时候情况比较复杂,这里我们举个例子:
给定三个节点x1, x2, x3，x1 和x3 是不直接连接的，可以通过节点x2 连接。这三个节点之间可以有四种连接关系:
间接因果关系: 在已知 x2 时，x1 和 x3 为条件独立;
间接果因关系:在已知 x2 时，x1 和 x3 为条件独立;
共因关系: x1和x3是不独立的，在已知x2时，x1和x3条件独立;
共果关系: x1和x3是独立的，在已知x2时，x1和x3不独立