条件随机场随记1

条件随机场看成是一个无向图模型或马尔可夫随机场

这时我们称（X,Y）为条件随机场

这个概念中有几点需要引起注意的地方。
（1）CRF 是一个无向图模型，这是有区别HMM的一个模型
（2） Y 服从马尔科夫属性。

讲条件随机场会引入一个势函数的概念。比如李航《统计学习方法》。
为什么CRF会引入势函数？
因为尽管在给定每个节点的条件下，分配给该节点一个条件概率是可能的，但条件随机场的无向性很难保证每个节点在给定它的邻接点条件下得到的条件概率和以图中其它节点为条件得到的条件概率一致。因此导致我们不能用条件概率参数化表示联合概率，而要从一组条件独立的原则中找出一系列局部函数的乘积来表示联合概率。选择局部函数时，必须保证能够通过分解联合概率使没有边的两个节点不出现在同一局部函数中。 最简单的局部函数是定义在图结构中的最大团(clique)上的势函数(Potential unction)，并且是严格正实值的函数形式。并且是严格正实值的函数形式。但是一组正实数函数的乘积并不能满足概率公理，则必须引入一个归一化因子Z ，这样可以确保势函数的乘积满足概率公理，且是G中节点所表示的随机变量的联合概率分布

其中C为最大团集合，利用 Hammersley-Clifford 定理，可以得到联合概率公式如下：

图G的结构为任意，然而，在构造模型时，CRFs采用了最简单和最重要的一阶链式结构。如下图所示，条件随机场 , ( Υ,Χ）以观察序列Χ作为全局条件，并且不对Χ做任何假设。这种简单结构可以被用来在标记序列上定义一个联合概率分布 p（y|x） ，我们主要关心的是两个序列 X=(X1,X2,…..Xt) ,Y=(Y1,Y2,……Yt)

参考： https://en.wikipedia.org/wiki/Hammersley%E2%80%93Clifford_theorem