条件随机场的三个基本问题

一、条件随机场的概率计算问题

条件随机场的概率计算问题描述：给定 linear-CRF的条件概率分布P(y|x), 在给定输入序列x和输出序列y时，计算条件概率$P(Y_i=y_i|x)$和$P(Y_{i-1}=y_{i-1},Y_i=y_i|x)$以及对应的期望。

回顾一下HMM，当时解决这个问题使用的是前向算法／后向算法。这里类似，对每个位置 i =0,1,…,n+1 ，定义前向向量 ${\alpha }_i(x)$ ：

${\alpha }_0(y|x)=\{\begin{array}{ll}1,& y=start\\ 0,& otherwise\end{array}$
${\alpha }_i(y_i|x)={\sum }_{y_{i-1}}{\alpha }_{i-1}(y_{i-1}|x)M_i(y_{i-1},y_i|x),i=1,2,...,n+1$

${\alpha }_i(y_i|x)$ 的含义是在位置 i 的标记 $Y_i=y_i$ 且从起始位置到位置 i 的局部标记序列的非规范化概率，这个递推式子可以直观地把 $M_i(y_{i-1},y_i|x)$ 理解为“转移概率”，求和号表示对$y_{i-1}$ 的所有可能取值求和。写成矩阵的形式就是下式：${\mathbf{\alpha }}_i^{\top }(x)={\mathbf{\alpha }}_{i-1}^{\top }(x)M_i(x)$。这里的 ${\alpha }_i(x)$ 是 m 维列向量，因为每个位置的标记都有 m 种可能取值，每一个维度都对应一个 ${\alpha }_i(y_i|x)$ 。

类似地，可以定义后向向量 ${\beta }_i(x)$ ：
${\beta }_{n+1}(y_{n+1}|x)=\{\begin{array}{ll}1,& y_{n+1}=stop\\ 0,& otherwise\end{array}$
${\beta }_i(y_i|x)={\sum }_{y_{i+1}}{M}_{i+1}(y_i,y_{i+1}|x){\beta }_{i+1}(y_{i+1}|x),i=0,1,...,n$

${\beta }_i(y_i|x)$ 的含义是在位置 i 的标记 $Y_i=y_i$ 且从位置 i+1 到位置 n的局部标记序列的非规范化概率。写成矩阵的形式就是：${\mathbf{\beta }}_i^{\top }(x)=M_{i+1}(x){\mathbf{\beta }}_{i+1}(x)$。

另外，规范化因子 $Z(x)={\mathbf{\alpha }}_n^{\top }(x)1=1^{\top }{\mathbf{\beta }}_1(x)$。这里的$1$是元素均为1的m维列向量。

1. 概率值的计算

给定一个CRF模型，那么 $P(Y_i=y_i|x),P(Y_{i-1}=y_{i-1},Y_i=y_i|x)$ 可以利用前向向量和后向向量计算这两个概率值分别为:

$$P(Y_i=y_i|x)=\frac{{\alpha }_i(y_i|x){\beta }_i(y_i|x)}{Z(x)}$$

$$P(Y_{i-1}=y_{i-1},Y_i=y_i|x)=\frac{{\alpha }_{i-1}(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}$$

2. 期望值的计算

(1) 特征函数 $f_k$ 关于条件分布 P(Y|X) 的期望：

$$\begin{array}{rl}{\mathbb{E}}_{P(Y|x)}[f_k]& =\sum _{y}P(Y=y|x)f_k(y,x)\\ & =\sum _{y}P(Y=y|x)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)P(Y_{i-1}=y_{i-1},Y_i=y_i|x)\\ & =\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}$$

(2) 特征函数 $f_k$ 关于联合分布 P(X,Y) 的期望

这里假设已知边缘分布 P(X) 的经验分布为 $\tilde{P}(X)$，经验分布就是根据训练数据，用频数估计的方式得到 $\tilde{P}(X=x)=\frac{\#x}{N}$。

$$\begin{array}{rl}{\mathbb{E}}_{P(X,Y)}[f_k]& =\sum _{x,y}P(x,y)f_k(y,x)\\ & =\sum _x\tilde{P}(x)\sum _{y}P(Y=y|x)\sum _{i=1}^{n+1}{f}_k(y_{i-1},y_i,x,i)\\ & =\sum _x\tilde{P}(x)\sum _{i=1}^{n+1}\sum _{y_{i-1}{y}_i}{f}_k(y_{i-1},y_i,x,i)\frac{{\alpha }_{i-1}(y_{i-1}|x)M_i(y_{i-1},y_i|x){\beta }_i(y_i|x)}{Z(x)}\end{array}$$

对于给定的观测序列 x 和标记序列 y ，通过一次前向扫描计算 ${\alpha }_i$ 及 $Z(x)$ ，一次后向扫描计算 ${\beta }_i$，进而计算所有的概率值，以及特征的期望。

二、条件概率最大的输出序列预测问题(解码问题)

条件概率最大的输出序列预测问题描述：给定 linear-CRF的条件概率分布P(y|x),和输入序列x, 计算使条件概率最大的输出序列y*。类似于HMM，使用维特比算法可以很方便的解决这个问题。

1. linear-CRF模型维特比算法解码思路
之前已经提到可以将条件随机场用向量w和F(x,y)的内积表示：
$P_w(y|x)=\frac{exp(w\cdot F(y,x))}{Z_w(x)}$

要求的使条件概率最大的输出序列y*满足：
$$\begin{array}{rl}{y}^{\ast }& =\arg \underset{y}{\max }{P}_w(y|x)\\ & =\arg \underset{y}{\max }\frac{exp(w\cdot F(y,x))}{Z_w(x)}\\ & =\arg \underset{y}{\max }\exp (w\cdot F(y,x))\\ & =\arg \underset{y}{\max }(w\cdot F(y,x))\end{array}$$

于是，条件随机场的预测问题成为求非规范概率最大的最优路径问题
$$\underset{y}{\max }(w\cdot F(y,x))\text{\hspace{1em}(2.1.1)}$$

这里，路径表示标记序列，其中：
$w=(w_1,w_2,...,w_K{)}^T$
$F(y,x)=(f_1(y,x),f_2(y,x),...,f_K(y,x){)}^T$
$f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),i=1,2,...,K$

注意这里只要求非规范化概率，为了求解最优路径，将式(2.1.1)改写为：
$$\underset{y}{\max }\sum _{i=1}^n(w\cdot F_i(y_{i-1},y_i,x))$$
其中，$F_i(y_{i-1},y_i,x)=(f_1(y_{i-1},y_i,x,i),f_2(y_{i-1},y_i,x,i),...,f_K(y_{i-1},y_i,x,i){)}^T$ 表示局部特征向量。

2. linear-CRF模型维特比算法流程

现在我们总结下 linear-CRF模型维特比算法流程：

输入：模型的特征向量F(y,x)，和对应的K维权重向量w。观测序列$x=(x_1,x_2,...x_n)$,可能的标记个数m
输出：最优标记序列$y^{\ast }=(y_1^{\ast },y_2^{\ast },...y_n^{\ast })$

(1) 初始化

首先求出位置 1 的各个标记j=1,2,…,m的非规范化概率:

$${\delta }_1(j)=w\cdot F(y_0=start,y_1=j,x)=\sum _{i=1}^n{w}_i{f}_i(y_0=start,y_1=j,x,i)\},j=1,2,...m$$

$${\Psi }_1(j)=start,j=1,2,...m$$

注意这里默认构造了一个start节点。　　　　
　　　　
(2) 对于i=2, 3, …,n,进行递推

求出位置 i 的各个标记j=1,2,…,m的非规范化概率，同时记录非规范化概率最大值的路径:

δ i ( l ) = max ⁡ 1 ≤ j ≤ m { δ i − 1 ( j ) + ∑ i = 1 n w i f i ( y i − 1 = j , y i = l , x , i ) }    , l = 1 , 2 , . . . m \delta_{i}(l) = \max_{1 \leq j \leq m}\{\delta_{i-1}(j) + \sum\limits_{i=1}^nw_if_i(y_{i-1} =j,y_{i} = l,x,i)\}\;, l=1,2,...m δi​(l)=1≤j≤mmax​{δi−1​(j)+i=1∑n​wi​fi​(yi−1​=j,yi​=l,x,i)},l=1,2,...m

Ψ i ( l ) = a r g    max ⁡ 1 ≤ j ≤ m { δ i − 1 ( j ) + ∑ i = 1 n w i f i ( y i − 1 = j , y i = l , x , i ) }    , l = 1 , 2 , . . . m \Psi_{i}(l) = arg\;\max_{1 \leq j \leq m}\{\delta_{i-1}(j) + \sum\limits_{i=1}^nw_if_i(y_{i-1} =j,y_{i} = l,x,i)\}\; ,l=1,2,...m Ψi​(l)=arg1≤j≤mmax​{δi−1​(j)+i=1∑n​wi​fi​(yi−1​=j,yi​=l,x,i)},l=1,2,...m

注意这里的${\delta }_{i-1}(j)$是要对所有可能的m个比较做比较。

(3) 终止

$$\underset{y}{\max }(w\cdot F(y,x))=\underset{1\le j\le m}{\max }{\delta }_n(j)$$

$$y_n^{\ast }=arg\underset{1\le j\le m}{\max }{\delta }_n(j)$$

(4) 回溯

$$y_i^{\ast }={\Psi }_{i+1}(y_{i+1}^{\ast }),i=n-1,n-2,...1$$

最终得到最优标记序列 $y^{\ast }=(y_1^{\ast },y_2^{\ast },...y_n^{\ast })$

3. linear-CRF模型维特比算法实例

假设输入的都是三个词的句子，即$X=(x_1,x_2,x_3)$,输出的词性标记为$Y=(y_1,y_2,y_3)$,其中 Y ∈ { 1 ( 名 词 ) , 2 ( 动 词 ) } Y \in \{1(名词), 2(动词)\} Y∈{1(名词),2(动词)}。此外，设局部特征函数$t_k$、节点特征函数$s_l$和对应的权重${\lambda }_k,{\mu }_k$如下（这里只标记出取值为1的特征函数）：
$t_1=t_1(y_{i-1}=1,y_i=2,x,i),i=2,3,{\lambda }_1=1$
$t_2=t_2(y_1=1,y_2=1,x,2),{\lambda }_2=0.5$
$t_3=t_3(y_2=2,y_3=1,x,3),{\lambda }_3=1$
$t_4=t_4(y_1=2,y_2=1,x,2),{\lambda }_4=1$
$t_5=t_5(y_2=2,y_3=2,x,3),{\lambda }_5=0.2$
$s_1=s_1(y_1=1,x,1),{\mu }_1=1$
$s_2=s_2(y_i=2,x,i),i=1,2,{\mu }_2=0.5$
$s_3=s_3(y_i=1,x,1),i=2,3,{\mu }_3=0.8$
$s_4=s_4(y_3=2,x,1),{\mu }_4=0.5$

求最可能的输出标记序列$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })$。

答：

利用维特比算法求解最优路径问题：$\max \sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$，注意这里3是序列长度，对于某个位置i，在求$\sum _{i=1}^{3}w\cdot F_i(y_{i-1},y_i,x)$的时候要把节点特征函数和局部特征函数都要加起来。

(1) 初始化

i=1 : ${\delta }_1(j)=w\cdot F_1(y_0=start,y_1=j,x),j=1,2,...,m$
${\delta }_1(1)=\sum _{i=1}^3{w}_i{f}_i(y_o=1,y_1=1,x)={\mu }_1\ast s_1=1$
${\delta }_1(2)=\sum _{i=1}^3{w}_i{f}_i(y_o=1,y_1=2,x)={\mu }_2\ast s_2=0.5$

(2) 递推

i=2 : δ 2 ( l ) = max ⁡ j { δ 1 ( j ) + w ⋅ F 2 ( j , l , x ) } = max ⁡ j { δ 1 ( 1 ) + w ⋅ F 2 ( 1 , l , x ) ,   δ 1 ( 2 ) + w ⋅ F 2 ( 2 , l , x ) } \delta_2(l)=\max\limits_j\{\delta_1(j)+w\cdot F_2(j,l,x)\}=\max\limits_j\{\delta_1(1)+w\cdot F_2(1,l,x),\ \delta_1(2)+w\cdot F_2(2,l,x)\} δ2​(l)=jmax​{δ1​(j)+w⋅F2​(j,l,x)}=jmax​{δ1​(1)+w⋅F2​(1,l,x), δ1​(2)+w⋅F2​(2,l,x)}
δ 2 ( 1 ) = max ⁡ j { δ 1 ( j ) + w ⋅ F 2 ( j , l , x ) } = max ⁡ { 1 + λ 2 ∗ t 2 + μ 3 ∗ s 3 , 0.5 + λ 4 ∗ t 4 + μ 3 ∗ s 3 } = 2.4 \delta_2(1)=\max\limits_j\{\delta_1(j)+w\cdot F_2(j,l,x)\}=\max\{1+\lambda_2*t_2+\mu_3*s_3,0.5+\lambda_4*t_4+\mu_3*s_3\}=2.4 δ2​(1)=jmax​{δ1​(j)+w⋅F2​(j,l,x)}=max{1+λ2​∗t2​+μ3​∗s3​,0.5+λ4​∗t4​+μ3​∗s3​}=2.4
${\Psi }_2(1)=1$
δ 2 ( 2 ) = max ⁡ j { δ 1 ( j ) + w ⋅ F 2 ( j , l , x ) } = max ⁡ { 1 + λ 1 ∗ t 1 + μ 2 ∗ s 2 , 0.5 + μ 2 ∗ s 2 } = 2.5 \delta_2(2)=\max\limits_j\{\delta_1(j)+w\cdot F_2(j,l,x)\}=\max\{1+\lambda_1*t_1+\mu_2*s_2,0.5+\mu_2*s_2\}=2.5 δ2​(2)=jmax​{δ1​(j)+w⋅F2​(j,l,x)}=max{1+λ1​∗t1​+μ2​∗s2​,0.5+μ2​∗s2​}=2.5
${\Psi }_2(2)=1$

i=3 : δ 3 ( l ) = max ⁡ j { δ 2 ( j ) + w ⋅ F 3 ( j , l , x ) } = max ⁡ j { δ 2 ( 1 ) + w ⋅ F 3 ( 1 , l , x ) ,   δ 2 ( 2 ) + w ⋅ F 3 ( 2 , l , x ) } \delta_3(l)=\max\limits_j\{\delta_2(j)+w\cdot F_3(j,l,x)\}=\max\limits_j\{\delta_2(1)+w\cdot F_3(1,l,x),\ \delta_2(2)+w\cdot F_3(2,l,x)\} δ3​(l)=jmax​{δ2​(j)+w⋅F3​(j,l,x)}=jmax​{δ2​(1)+w⋅F3​(1,l,x), δ2​(2)+w⋅F3​(2,l,x)}
δ 3 ( 1 ) = max ⁡ { 2.4 + μ 5 ∗ s 5 , 2.5 + λ 3 ∗ t 3 + μ 3 ∗ s 3 } = 4.3 \delta_3(1)=\max\{2.4+\mu_5*s_5,2.5+\lambda_3*t_3+\mu_3*s_3\}=4.3 δ3​(1)=max{2.4+μ5​∗s5​,2.5+λ3​∗t3​+μ3​∗s3​}=4.3
${\Psi }_3(1)=2$
δ 3 ( 2 ) = max ⁡ { 2.4 + λ 1 ∗ t 1 + μ 4 ∗ s 4 , 2.5 + λ 5 ∗ t 5 + μ 4 ∗ s 4 } = 3.9 \delta_3(2)=\max\{2.4+\lambda_1*t_1+\mu_4*s_4,2.5+\lambda_5*t_5+\mu_4*s_4\}=3.9 δ3​(2)=max{2.4+λ1​∗t1​+μ4​∗s4​,2.5+λ5​∗t5​+μ4​∗s4​}=3.9
${\Psi }_3(2)=1$

【原书《统计学习方法》有误，见勘误】

(3) 终止

$$\underset{y}{\max }(w\cdot F(y,x))=\max {\delta }_3(l)={\delta }_3(1)=4.3$$

$$y_3^{\ast }=\arg \underset{l}{\max }({\delta }_3(l))=1$$

(4) 回溯

$y_2^{\ast }={\Psi }_3(y_3^{\ast })={\Psi }_3(1)=2$
$y_1^{\ast }={\Psi }_2(y_{3}2\ast )={\Psi }_2(2)=1$

所以最终求出的最优标记序列是$y^{\ast }=(y_1^{\ast },y_2^{\ast },y_3^{\ast })=(1,2,1)$

三、条件随机场模型参数学习问题

条件随机场模型参数学习问题描述：给定训练数据集X和Y，学习linear-CRF的模型参数$w_k$和条件概率$P_w(y|x)$，这个问题的求解比HMM的学习算法简单的多，普通的梯度下降法，拟牛顿法都可以解决。

条件随机场模型实际上是定义在时序数据上的对数线形模型，其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。（其中，主流的CRF软件之CRF++采用了拟牛顿法+L-BFGS优化，所以着重看这种训练方法即可。）

已知训练数据集，由此可知经验概率分布 $\tilde{P}(X,Y)$ 可以通过极大化训练数据的对数似然函数来求模型参数。

训练数据 { ( x ( j ) , y ( j ) ) } j = 1 N \{(x^{(j)},y^{(j)})\}_{j=1}^N {(x(j),y(j))}j=1N​ 的对数似然函数为:

$$\begin{array}{rl}L(\text{w})=L_{\tilde{P}}(P_{\text{w}})& =\ln \prod _{j=1}^N{P}_{\text{w}}(Y=y^{(j)}|x^{(j)})\\ & =\sum _{j=1}^N\ln P_{\text{w}}(Y=y^{(j)}|x^{(j)})\\ & =\sum _{j=1}^N\ln \frac{\exp {\sum }_{k=1}^K{w}_k{f}_k(y^{(j)},x^{(j)})}{Z_{\text{w}}(x^{(j)})}\\ & =\sum _{j=1}^N(\sum _{k=1}^K{w}_k{f}_k(y^{(j)},x^{(j)})-\ln Z_{\text{w}}(x^{(j)}))\\ & =\sum _{j=1}^N\sum _{k=1}^K{w}_k{f}_k(y_j,x_j)-\sum _{j=1}^N\ln Z_{\text{w}}(x_j)\end{array}$$

改进的迭代尺度法通过迭代的方法不断优化对数似然函数改变量的下界，达到极大化对数似然函数的目的。

---

参考：

• NLP —— 图模型（二）条件随机场（Conditional random field，CRF）
• linear-CRF模型参数学习思路
• 条件随机场入门（四） 条件随机场的训练