CRF条件随机场模型笔记

同上一篇《以序列标注为例学习隐马尔可夫模型HMM》一样，仍旧以序列标注问题为例。

序列标注问题是给定一个序列$X$，求一个函数$f$，使得$X$通过$f$映射得到想要的序列$Y$，即：
$$f:X\to Y$$

1.CRF基本假设

与HMM模型认为P(x,y)是转移概率和发射概率的乘积不同，CRF认为：
$$P(x,y)\propto exp(\omega \varphi (x,y))$$
其中$\omega$ 代表一个权重，$\varphi (x,y)$是关于x,y序列的特征向量。由于$exp(\omega \varphi (x,y))$可以大于1，因此不能假设它等于这个概率，而是正比于概率。

因此：
$$P(y|x)=\frac{P(x,y)}{P(x)}=\frac{P(x,y)}{{\sum }_{y^{{}^{\prime }}}P(x,y)}=\frac{exp(\omega \varphi (x,y))/R}{{\sum }_{y^{{}^{\prime }}}exp(\omega \varphi (x,y^{{}^{\prime }}))/R}=\frac{exp(\omega \varphi (x,y))}{{\sum }_{y^{{}^{\prime }}}exp(\omega \varphi (x,y^{{}^{\prime }}))}$$

2.HMM和CRF本质相同

HMM和CRF模型的其实是同一个东西，可以认为CRF是HMM模型的另一种表示和训练方法，只是两者略有不同。

在HMM中：
$$P(x,y)=P(y_1|start)\prod _{l=1}^{L-1}P(y_{l+1})P(y_L|end)\prod _{l=1}^{L}P(x_L|y_L)$$
对等式两边取log对数：
$$logP(x,y)=logP(y_1|start)+\sum _{l=1}^{L-1}logP(y_{l+1})+logP(y_L|end)+\sum _{l=1}^{L}logP(x_L|y_L)$$

以${\sum }_{l=1}^{L}logP(x_L|y_L)$为例：
$$\sum _{l=1}^{L}logP(x_L|y_L)=\sum _{s,t}logP(t|s)\times N_{s,t}(x,y)$$
即序列中标签序列元素$y_L$对应单词序列元素$x_L$的概率累加等于单词t被标记为标签s的概率乘以序列中单词t被标记为标签s的次数。

下例演示了该公式的一个实例：

$logP(x,y)$中其他公式同理可得：

因此$logP(x,y)$可以写成：

其中紫色部分及代表1中的权重$\omega$，红色部分代表1中关于x，y的特征向量$\varphi (x,y)$。

3. CRF的训练

给定数据集 { ( x 1 , y ˇ 1 ) , ( x 2 , y ˇ 2 ) , . . . , ( x n , y ˇ n ) } \{(x^1,\check{y}^1),(x^2,\check{y}^2),...,(x^n,\check{y}^n)\} {(x1,yˇ​1),(x2,yˇ​2),...,(xn,yˇ​n)}，要训练${\omega }^{\ast }$,使得${\omega }^{\ast }=argma{x}_{\omega }O(\omega )$
$$O(\omega )=\sum _{n=1}^{N}logP({\check{y}}^n|x^n)$$

有1中：$$P(y|x)=\frac{exp(\omega \varphi (x,y))}{{\sum }_{y^{{}^{\prime }}}exp(\omega \varphi (x,y^{{}^{\prime }}))}$$

$$logP({\check{y}}^n|x^n)=logP(x^n,{\check{y}}^n)-log\sum _{y^{{}^{\prime }}}P(x^n,y^{{}^{\prime }})$$
也就是最大化我们序列中看到的标记，最小化那些不仅在正确序列中能看到，在其他可能的错误序列中也经常出现的标记。

计算梯度：

由于是最大化目标函数，因此是梯度上升而非梯度下降：
$$w_{s,t}=w_{s,t}+\eta \frac{\partial O(\omega )}{\partial {\omega }_{s,t}}$$

训练得到$\omega$后
$$y=argma{x}_{y\in Y}P(y|x)=argma{x}_{y\in Y}P(x,y)=argma{x}_{y\in Y}\omega \varphi (x,y)$$

可以使用维特比算法得到最优序列。