第十一章 条件随机场

条件随机场（CRF）是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔科夫随机场。
定义1.1 （条件随机场）设$X$与$Y$是随机变量，$P(Y|X)$是在给定$X$的条件下$Y$的条件概率分布。若随机变量$Y$构成一个由无向图$G=(V,E)$表示的马尔科夫随机场，即

$$P(Y_v|X,Y_w,w \ne v)=P(Y_v|X,Y_w,w \sim v) \tag{1}$$ 对任意结点 $v$成立，则称条件概率分布$P(Y|X)$为条件随机场。式中 $w \sim v$表示在图 $G=(V,E)$中与结点 $v$有边连接的所有结点$w$， $w \ne v$表示结点 $v$以外的所有结点，$Y_v$, $Y_u$, $Y_w$为节点 $v,u,w$对应的随机变量。
定义1.2 （线性链条件随机场）设 $X=(X_1,X_2,...,X_n)$, $Y=(Y_1,Y_2,...,Y_n)$均为线性链表示的随机变量序列，若在给定的随机变量序列 $X$的条件下，随机变量序列$Y$的条件概率分布 $P(Y|X)$构成条件随机场，即满足马尔科夫性 $$P(Y_i|X,Y_1,...,Y_{i-1},Y_{i+1},...,Y_n)=P(Y_i|X,Y_{i-1},Y_{i+1})$$ $$i=1,2,...,n(在i=1和n时只考虑单边)$$ 则称 $P(Y|X)$为线性链条件随机场。在标注问题中， $X$表示输入观测序列，$Y$表示对于的输出序列或状态序列。
定理1.1（线性链条件随机场的参数化形式）设 $P(Y|X)$为线性链条件随机场，则在随机变量 $X$取值为$x$的条件下，随机变量 $Y$取值为$y$的条件概率具有如下形式： $$P(y|x)=\frac{1}{Z(x)}exp\left(\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i)\right)$$ 其中， $$Z(x)=\sum_y\exp\left(\sum_{i,k}\lambda_kt_k(y_{i-1},y_i,x,i)+\sum_{i,l}\mu_ls_l(y_i,x,i)\right)$$ 式中， $t_k$和 $s_l$是特征函数， $\lambda_k$和 $\mu_l$是对应的权值。 $Z(x)$是规范化因子，求和是在所有可能的输出序列上进行的。

条件随机场的学习算法

算法1.1（条件随机场模型学习的改进的迭代尺度法）
输入：特征函数$t_1,t_2,...,t_{K_1}$,$s_1,s_2,...,s_{K_2}$;经验分布$\tilde P(x,y)$;
输出：参数估计值$\hat w$;模型$P_{\hat w}$.
（1）对所有$k \in \{1,2,...,K\}$，取初值$w_k = 0$
（2）对每一$k \in \{1,2,...,K\}$：
（a）当$k=1,2,...,K_1$时，令$\delta_{{K_1}+l}$是方程

$$\sum_{x,y}\tilde P(x)P(y|x)\sum_{i=1}^n s_l(y_i,x,i)exp(\delta_{{K_1}+l}T(x,y))=E_{\tilde P}[s_l]$$ 的解，式中 $$T(x,y)=\sum_kf_k(y,x)=\sum_{k=1}^K\sum_{i=1}^{n+1}f_k(y_{i-1},y_i,x,i)$$
（b）更新 $w_k$的值： $w_k\leftarrow w_k+\delta_k$
（3）如果不是所有 $w_k$都收敛，重复步骤（2）。
算法1.2（条件随机场模型学习的BFGS法）
输入：特征函数 $f_1,f_2,...,f_n;$经验分布 $\tilde P(X,Y)$;
输出：最优参数值 $\hat w$；最优模型 $P_{\hat w}(y|x)$
（1）选定初始点 $w^{(0)}$，取 $B_0$为正定对称矩阵，置 $k=0$
（2）计算 $g_k = g(w^{(k)})$，若 $g_k=0$,则停止计算；否则转(3)
（3）由 $B_kp_k=-g_k$求出 $p_k$
（4）一维搜索：求 $\lambda_k$使得 $$f(w^{(k)}+\lambda_kp_k)=\min_{\lambda \ge 0}f(w^{(k)}+\lambda p_k)$$
（5）置 $w^{(k+1)}=w^{(k)}+\lambda_kp_k$
（6）计算 $g_{k+1} = g(w^{(k+1)})$，若 $g_k=0$,则停止计算；否则按下式求出 $B_{k+1}$： $$B_{k+1}=B_k+\frac{y_ky_k^T}{y_k^T\delta_k}-\frac{B_k\delta_k\delta_k^TB_k}{\delta_k^TB_k\delta_k}$$ 其中， $$y_k = g_{k+1}-g_k,\delta_k=w^{(k+1)}-w^{(k)}$$
（7）置 $k=k+1$，转（3）。
算法1.3（条件随机场预测的维特比算法）
输入：模型特征向量 $F(y,x)$和权值向量 $w$，观测序列$x=(x_1,x_2,...,x_n)$；
输出：最优路径 $y^*=(y_1^*,y_2^*,...,y_n^*)$
（1）初始化 $$\delta_1(j)=w \cdot F_1(y_0=start,y_1=j,x),j=1,2,...,m$$
（2）递推。对 $i=2,3,...,n$ $$\delta_i(j)=\max_{1 \leq j\leq m}\{\delta_{i-1}(j)+w \cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,...,m$$
$$\Psi_i(j)=arg\max_{1 \leq j\leq m}\{\delta_{i-1}(j)+w \cdot F_i(y_{i-1}=j,y_i=l,x)\},l=1,2,...,m$$
（3）终止 $$\max_y(w \cdot F(y,x))=\max_{1 \leq j \leq m}\delta_n(j)$$ $$y_n^*=arg \max_{1 \leq j \leq m}\delta_n(j)$$
（4）返回路径 $$y_i^*=\Psi_{i+1}(y_{i+1}^*),i=n-1,n-2,...,1$$
求得最优路径 $y^*=(y_1^*,y_2^*,...,y_n^*)$