CRF实现中文词性标注（1）——原理说明

写在前边

po上看到的一个大佬的博文，这篇博客也是学习大佬的文章。
文中图片也来自于参考博文。
参考链接:
CRF、有向图、无向图
大佬的图模型
大佬的CRF讲解
我的知乎专栏，小白要努力了哦
python 实现CRF,并用于序列标注参考代码
python-crf
simple_crf

图模型

背景

Naive Bayes
$P(X|y)=p(x1|y)p(x2|y)....p(x3|y)$
如果用图中的结点表示变量，边表示变量之间的关系，那么朴素贝叶斯就可以用下边的图表示。

最大熵模型
$$P(y|x)=\frac{exp({\sum }_{i=1}^n{w}_i{f}_i(x,y))}{Z_w(x)}$$

Naive Bayes中使用的是条件概率，而最大熵中使用的是特征函数，二者的区别在于条件概率是有向的，而特征函数是无向的，所以有了将图模型分为有向图和无向图。

无向图

《统计学习方法》中定义

概率无向图中的联合概率分布P(Y)可以写作是图中所有最大团C上的函数
${\psi }_c(Y_c)$的乘积形式

$$\begin{array}{rl}P(Y)& =\frac{1}{Z}\prod _c({\psi }_c(y_c))\\ Z& =\sum \prod _c({\psi }_c(y_c)\end{array}$$
比如：

有向图

DAG(Directed acyclic graph)，有向无环图。
DAG模型可以理解为联合概率等于每个节点在其父节点下的条件概率的累乘。
$$P(Y)=\prod _{s=1}^{S}p(y_s\mid Y_{{\pi }_s})$$

CRF

CRF(conditional Random Fields)，条件随机场是一种无向图，是在给定随机变量X下，随机变量Y的马尔科夫随机场。
主要讨论用在序列标注中的线性链CRF。条件概率模型P(Y | X)中Y是输出变量，也称为状态序列或者标记序列或者隐序列，也就是未知的；X是观测序列，POS中的单词就是观测序列，词性就是状态序列。

1. CRF的学习问题：
   用极大似然或者正则化的极大似然求得条件概率模型P（Y|X）
2. 预测问题：
   输入序列x, 求解概率P(y|x) 最大的y序列

线性链CRF

x = (X1,X2,…Xn), Y = (Y1,Y2,…Yn)均为线性链表示的随机序列，在给定X的情况下，P(Y|X) 构成CRF，也就是满足马尔科夫性：
$$P(Y_i\mid X,Y_1,..Y_{i-1},Y_{i+1},..Y_n)=P(Y_i\mid X,Y_{i-1},Y_{i+1})$$

称P(Y|X)构成线性链条件随机场。

参数化形式

$$\begin{array}{rl}P(y\mid x)& =\frac{1}{Z(x)}exp(\sum _{i,k}{\lambda }_k{t}_k(y_i,y_{i-1},x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\\ Z(x)& =\sum _{y}exp(\sum _{i,k}{\lambda }_k{t}_k(y_i,y_{i-1},x,i)+\sum _{i,l}{\mu }_l{s}_l(y_i,x,i))\end{array}$$

其中t是定义在边上的特征函数，称为转移特征，依赖于前一个和当前位置；s是定义在节点上的特征函数，称为状态特征，只依赖于当前位置；$\lambda ,\mu$是对应的权重。t和s都依赖于位置，所以都是局部特征，通常取值为0或者1，满足特征函数取值1，不满足取值0。
CRF完全由特征函数和权值决定。

简化形式

参数化形式中的CRF的特征函数与位置有关，也就是局部特征。CRF的简化形式是对同一个特征，将其在各个位置求和，这样就把局部特征转化为了全局特征。
首先定义K1个转移特征和K2个状态特征。

• 特征函数f定义为:
  $$f_k(y_{i-1},y_i,x,i)=\left\{\begin{array}{cc}{t}_k(y_{i-1},y_i,x,i)& k=1,2,3..K1\\ s_l(y_i,x,i)& k=k1+l,l=1,2,..K2\end{array}\right\}$$
• 在各个位置求和：
  f k ( x , y ) = ∑ i = 1