Conditional Random Field条件随机场

在介绍条件随机场之前，先介绍和条件随机场紧密相关的马尔可夫性。
全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。
也就是说 A和B在给定C的条件下独立。

由全局马尔可夫性可以得到两个有用的推论
局部马尔可夫性： 也就是说给定某变量的临接变量，则该变量条件独立于其他变量。

成对马尔科夫性： 给定所有其他变量，两个非邻接变量条件独立。
在马尔可夫随机场中，多个变量之间的联合概率分布能基于团分解为多个因子的乘积，每个因子仅与一个团相关。具体团分解可以参照西瓜书。那么联合概率可以表示为势函数的乘积。如下图所示：

势函数的作用是刻画变量集x中变量之间的相关关系，它应该是非负函数，为了满足于非负性，指数函数常被用来定义势函数。
条件随机场试图对多个变量在给定观测值后对条件概率进行建模。
若令x为观测序列，y为与之相对应的标记序列。则条件随机场的目标就是构建条件概率模型P(y|x) x,y的形式如下：

y可以结构性变量，也就是y的变量之间可以具有相关性。
只要每个变量y都具有马尔可夫性，则（y，x）构成一个条件随机场。

条件随机场使用势函数和图结构上的团来定义条件概率P（y|x）

其中有用于定义在观测序列的两个相邻标记位置上的转移特征函数，用于刻画相邻标记变量之间的相关关系以及观测序列对他们的影响。 也有用于定义观测序列对标记变量影响的相关函数。

假设已经观察到的变量为X，Z表示为隐变量，若欲对参数做极大似然估计，则应最大化对数似然。然而因为Z是隐变量，无法直接求解，于是可以通过对Z计算期望来最大化已经观测数据的对数边际似然。

EM算法，期望最大化算法，是常用的估计参数隐变量的工具。若模型参数已知，就可以推断隐变量Z的期望， E步。如果Z的值已知，就可以对模型参数做极大似然估计，M步。