条件随机场

条件随机场是给定一组输入随机变量下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫随机场。条件随机场可以用于不同的预测问题，本书仅讨论它在标注问题的应用。因此主要讲述线性链条件随机场，这时，问题变成了由输入序列对输出序列预测判别模型，形式为对数线性模型，其学习方法通常是极大似然估计或正则化的极大似然估计。首先叙述条件随机场的 定义和各种表示方法，最后介绍条件随机场的3个基本问题： 概率计算、 学习问题和 预测问题。

概率无向图模型

图的概念：图是由结点($v$)及连接结点的边($e$)组成的集合。结点和边的集合分别记作$V$和$E$,图记作$G=(V,E)$。无向图是指边没有方向的图。
概率图模型是由图表示的概率分布。设有联合概率分布$P(Y)$,$Y\in y$是一组随机变量。由无向图$G=(V,E)$表示概率分布$P(Y)$,即在图$G$中，结点$v\in V$表示一个随机变量$Y_v,Y=(Y_v)v\in V$;边$e\in E$表示随机变量之间的概率依赖关系。
给定一个联合概率分布$P(Y)$和表示它的无向图$G$。首先定义无向图表示的随机变量之间存在的成对马尔可夫性、局部马尔可夫性和全局马尔可夫性。这三个性质是等价的。
成对马尔可夫性：设$u$和$v$是无向图$G$中任意两个没有边连接的结点，结点$u$和$v$分别对应随机变量$Y_u$和$Y_v$。其他所有结点为$O$,对应的随机变量组是$Y_O$。成对马尔可夫性是指给定随机变量组$Y_O$的条件下随机变量$Y_u$和$Y_v$是条件独立的，即$$P(Y_u,Y_v|Y_O)=P(Y_u|Y_O)P(Y_v|Y_O)$$
概率无向图模型：设有联合概率分布$P(Y)$,由无向图$G=(V,E)$表示，在图$G$中，结点表示随机变量，边表示随机变量之间的依赖关系。如果联合概率分布$P(Y)$满足成对、局部和全局马尔可夫性，就称此联合概率分布为概率无向图模型，或马尔可夫随机场。
给定概率无向图模型，设其无向图为$G$，$C$为$G$上的最大团，$Y_C$表示$C$对应的随机变量。那么概率无向图模型的联合概率分布$P(Y)$可写作图中所有最大团$C$上的函数${\Psi }_C(Y_C)$的乘积形式，即$$P(Y)=\frac{1}{Z}\prod _C{\Psi }_C(Y_C)$$其中，$Z$是规范化因子，由式$$Z=\sum _{\gamma }\prod _C{\Psi }_C(Y_C)$$规范化因子保证$P(Y)$构成一个概率分布。函数${\Psi }_C(Y_C)$称为势函数。这里要求势函数${\Psi }_C(Y_C)$是严格正的，通常定义为指数函数； Ψ C ( Y C ) = exp ⁡ { − E ( Y C ) } \Psi_C(Y_C)=\exp\{-E(Y_C)\} ΨC​(YC​)=exp{−E(YC​)}

条件随机场的定义与形式

设$X$与$Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件随机分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔可夫随机场，即$$P(Y_v|X,Y_w,w\ne v)=P(Y_v|X,Y_w,wv)$$对任意结点$v$成立，则称条件概率分布$P(Y|X)$为条件随机场。式中$wv$表示在图$G=(V,E)$中与结点$v$有边连接的所有结点$w$，$w\ne v$表示结点$v$以外的所有结点，$Y_v$,$Y_u$与$Y_w$为结点$v$,$u$与$w$对应的随机变量。
以下主要讨论线性链的情况

线性条件随机场：设$X=(X_1,X_2,...,X_n)$，$Y=(Y_1,Y_2,...,Y_n)$均为线性链表示的随机变量序列，若在给定随机变量序列$X$的条件下，随机变量序列$Y$的条件概率分布$P(Y|X)$构成条件随机场，即满足马尔可夫性$$P(Y_i|X,Y_1,...,Y_{i-1},Y_{i+1},...,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$$$i=1,2,...,n(在i=1和n时只考虑单边)$$则称$P(Y|X)$为线性链条件随机场。在标注问题中，$X$表示输入观测序列，$Y$表示对应的输出标记序列或状态序列。

条件随机场的参数化形式

设$P(Y|X)$为线性链条件随机场，则在随机变量$X$取值为$x$的条件下，随机变量$Y$取值为$y$的条件概率具有如下形式：$$P(y|x)=\frac{1}{Z(x)}\exp (\sum _{i,k}{\lambda }_k{t}_k(y_{i-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))$$式中，$t_k$和$s_l$是特征函数，${\lambda }_k$和${\mu }_l$是对应的权重。$Z(x)$是规范化因子，求和是在所有可能的输出序列上进行的。