Raki的统计学习方法笔记0xB(11)章：条件随机场

为了完成nlp-beginner任务4，所以先复习一下CRF

按顺序看以下：

• 如何轻松愉快地理解条件随机场（CRF）？
• 统计学习方法第11章
• LSTM+CRF 解析（原理篇）

模型

条件随机场是由转移特征函数和状态特征函数构成的

参数化形式：
$$\begin{array}{rlr}P(y|x)=& \frac{1}{Z(x)}\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{y-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right)& \\ Z(x)=& \sum _y\exp \left(\sum _{i,k}{\lambda }_k{t}_k(y_{y-1},y_i,x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i)\right)& \end{array}$$

简化形式：
$$\begin{array}{rl}& f_k(y_{i-1},y_i,x,i)=\{\begin{array}{ll}{t}_k(y_{y-1},y_i,x,i),& k=1,2,...,K_1\\ s_l(y_i,x,i),& k=K_1+l;l=1,2,...,K_2\end{array}\\ & f_k(y,x)=\sum _{i=1}^n{f}_k(y_{i-1},y_i,x,i),k=1,2,...,K\\ & w_k=\{\begin{array}{l}{\lambda }_k,k=1,2,...,K_1\\ {\mu }_l,k=K_1+l;l=1,2,...,K_2\end{array}\\ & P(y|x)=\frac{1}{Z(x)}\exp \sum _{k=1}^K{w}_k{f}_k(y,x)\\ & 若w和F(一个K个特征函数组成的向量)为向量形式：\\ & P_w(y|x)=\frac{\exp (w\cdot F(y,x))}{Z_w(x)}\end{array}$$

学习策略

$$\begin{array}{rl}{y}^{\ast }& =\arg \underset{y}{\max }P(y|x)\\ & =\arg \underset{y}{\max }\frac{\exp (w\cdot F(y,x))}{Z_w(x)}\\ & =\arg \underset{y}{\max }\exp (w\cdot F(y,x))\\ & =\arg \underset{y}{\max }(w\cdot F(y,x))\end{array}$$
条件随机场的预测问题成为求非规范化概率最大的最优路径问题：
$$\begin{array}{r}\underset{y}{\max }(w\cdot F(y,x))\end{array}$$
为了求解最优路径，讲上式写成如下形式：
$$\begin{array}{r}\underset{y}{\max }\sum _{i=1}^{n}w\cdot F_i(y_{i-1},y_i,x)\end{array}$$

预测算法

输入：模型特征向量 $F(y,x)$ 和权值向量 $w$,观测序列$x=(x_1,x_2,...,x_n)$
输出：最优路径 $y^{\ast }=(y_1^{\ast },y_2^{\ast },...,y_n^{\ast })$
（1）初试化：
$$\begin{array}{r}{\delta }_1(j)=w\cdot F_1(y_0=start,y_1=j,x),j=1,2,...,m\end{array}$$
（2）递推：对$i=2,3,...,n$
δ 1 ( j ) = max ⁡ i ≤ j ≤ m { δ i − 1 + w ⋅ F i ( y i − 1 = j , y i = l , x ) } , j = 1 , 2 , . . . , m Ψ i ( l ) = arg ⁡ max ⁡ 1 ≤ j ≤ m { δ i − 1 + w ⋅ F i ( y i − 1 = j , y i = l , x ) } , j = 1 , 2 , . . . , m \begin{aligned} & \delta_1(j)= \mathop{\max_{i\le j \le m }} \{\delta_{i-1}+w \cdot F_i(y_{i-1}=j,y_i=l,x) \},j=1,2,...,m \\ & \Psi_i(l)=\mathop{\arg\max_{1 \le j \le m}}\{\delta_{i-1}+w \cdot F_i(y_{i-1}=j,y_i=l,x) \},j=1,2,...,m \end{aligned} ​δ1​(j)=i≤j≤mmax​{δi−1​+w⋅Fi​(yi−1​=j,yi​=l,x)},j=1,2,...,mΨi​(l)=arg1≤j≤mmax​{δi−1​+w⋅Fi​(yi−1​=j,yi​=l,x)},j=1,2,...,m​
（3）终止：
$$\begin{array}{rlr}\underset{y}{\max }(w& \cdot F(y,x))=\underset{i\le j\le m}{\max }{\delta }_n(j)& \\ & y_n^{\ast }=\arg \underset{i\le j\le m}{\max }{\delta }_n(j)& \end{array}$$
（4）返回路径：
$$\begin{array}{r}{y}_i^{\ast }={\Psi }_{i+1}(y_{i+1}^{\ast }),i=n-1,n-2,...,1\end{array}$$
求得最优路径：$y^{\ast }=(y_1^{\ast },y_2^{\ast },...,y_n^{\ast })$

延伸思考

LSTM,Bert已经可以胜任序列标注问题了，为什么还需要套上一层CRF？

• 如何理解LSTM后接CRF？
• BERT中进行NER为什么没有使用CRF，我们使用DL进行序列标注问题的时候CRF是必备么？
• NER最新SOTA模型