条件随机场（conditional random field，CRF）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、预备知识

1. 用一个无向图来表示一个联合概率分布—概率无向图模型

定义：设有联合概率分布P(Y)，由无向图 G=(V,E) 表示，节点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布P(Y)满足成对，局部或全局马尔可夫性，就称此联合概率分布为概率无向图模型，或马尔科夫随机场。

成对，局部或全局马尔可夫性是啥？统计学方法P192自取

2. 最大团
   

二、条件随机场

定义：设$X,Y$是随机变量，$P(Y|X)$是条件概率分布。若随机变量Y构成一个由无向图 $G=(V,E)$ 表示的马尔可夫随机场，即$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,w\sim v)$$
对任意节点$v$成立则称条件概率分布$P(Y|X)$为条件随机场。
$w\sim v$ 表示图G中与$v$有边相连接的所有结点，$w\ne v$ 表示结点$v$以外的所有结点

不明白看图，用线性链条件随机场举个例子，
也就是说结点$v$的随机变量$Y_v$的概率分布，只与他左右的两个节点有关，与其他不相连结点无关：
$$P(Y_i|X,Y_1,\dots ,Y_{i-1},Y_{i+1},\dots ,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$

1.参数化

先从概率无向图的参数化讲起

（Hammersley-Clifford）概率无向图模型的联合概率分布$P(Y)$可以表示为如下形式：$$P(Y)=\frac{1}{Z}\prod _C{\Psi }_C(Y_C)$$$$Z=\sum _Y\prod _C{\Psi }_C(Y_C)$$
其中 $C$ 是无向图的最大团，$Y_C$ 是 $C$的结点对用的随机变量，${\Psi }_C(Y_C)$是 $C$ 上定义的严格正函数，乘积实在无向图的所有最大团上进行的。

2.CRF参数化

其中$$Z(x)=\sum _{y}exp(\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$$