Coursera自然语言处理 Week2 笔记

第二周的课程讲了TAGGING问题，即如何给句子tag上词态。

比如说，如果输入：The dog laughs，就需要模型输出：DT NN VB

整个Tagging模型可以抽象成如下结构：

现在将这个抽象结构转换成概率模型。

1. 概率模型-HMM

输入：一句话$S=\{x_1,x_2,x_3,...,x_n\}$

Tagging过程：在现有tags中寻找一组$tags=\{y_1,...,y_n\}$，使得$P(y_1,...,y_n|x_1,...,x_n)$最大，即：

$$y_1,y_2,...,y_n=\mathop{\arg\min}_{y_1,...,y_n}P(y_1,...,y_n|x_1,...,x_n)$$

输出：$tags=\{y_1,y_2,y_3,...,y_n\}$

下面推导 Tagging过程：

$$\mathop{\arg\min}_{y_1,...,y_n}P(y_1,...,y_n|x_1,...,x_n)=\mathop{\arg\min}_{y_1,...,y_n}\frac{P(x_1,...,x_n|y_1,...,y_n)P(y_1,...,y_n)}{P(x_1,...,x_n)}\\ \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad \ =\mathop{\arg\min}_{y_1,...,y_n}P(x_1,...,x_n|y_1,...,y_n)P(y_1,...,y_n)$$

其中，$P(y_1,...,y_n)$可以根据Week1中讲到的Markov Process近似得到（Trigram）：

$$P(y_1,...,y_n)=\prod_{i=1}^{n}P(y_i|y_{i-1},y_{i-2})$$

然后对于$P(x_1,...,x_n|y_1,...,y_n)$，可以假设$x_i$只与$y_i$有关，则：

$$P(x_1,...,x_n|y_1,...,y_n)=P(x_1|y_1) P(x_2|y_2) ... P(x_n|y_n)=\prod_{i=1}^{n}P(x_i|y_i)$$

于是tagging过程可以写成如下形式：

$$y_1,y_2,...,y_n=\mathop{\arg\min}_{y_1,...,y_n}\prod_{i=1}^{n}P(y_i|y_{i-1},y_{i-2})\prod_{i=1}^{n}P(x_i|y_i)$$

为方便起见，在$y_1,...,y_n$中增加 $y_{-1}=y_0=*$ 和 $y_{n+1}=STOP$，再令$q(y_i|y_{i-1},y_{i-2})=P(y_i|y_{i-1},y_{i-2})$，$e(x_i|y_i)=P(x_i|y_i)$于是上式改写成：

y1,y2,...,yn=argminy1,...,yn∏i=1n+1q(yi|yi−1,yi−2)∏i=1ne(xi|yi)

$$y_1,y_2,...,y_n=\mathop{\arg\min}_{y_1,...,y_n}\prod_{i=1}^{n+1}q(y_i|y_{i-1},y_{i-2})\prod_{i=1}^{n}e(x_i|y_i)$$

惊奇地发现，隐马尔科夫模型出现了，其中$\prod_{i=1}^{n+1}q(y_i|y_{i-1},y_{i-2})$就是隐马尔可夫链，$\prod_{i=1}^{n}e(x_i|y_i)$被称为emission probability。

2. 求解概率模型

一般的思想就是穷举所有可能的$tags=\{y_1,...,y_n\}$，计算对应的$P(y_1,...,y_n|x_1,...,x_n)$，然后选取使概率最大的tags。穷举的效率肯定是十分低的，优化的方式就是“动态规划”。下面介绍动态规划算法“Viterbi Algorithm”。

2.1 Viterbi算法

假设前$k-1$个tags已经选择好了，即$(y_1,y_2,...,y_{k-1})$已经使$P(x_1,...,x_{k-1},y_1,...,y_{k-1})$最大了；接下来考虑第$k$个tag的选择。

选择的这个tag $y_k$得让$P(x_1,...,x_{k-1},x_k, y_1,...,y_{k-1},y_k)$最大，而：

$$P(x_1,...,x_{k-1},x_k, y_1,...,y_{k-1},y_k)=\prod_{i=1}^{k-1}q(y_i|y_{i-1},y_{i-2})\prod_{i=1}^{k-1}e(x_i|y_i) \times q(y_k|y_{k-1},y_{k-2})e(x_k|y_k)$$

即只要让$q(y_k|y_{k-1},y_{k-2})e(x_k|y_k)$最大即可。

以上便是动态规划Viterbi的思想。

3. 概率参数求解

回顾一下，模型如下：

y1,y2,...,yn=argminy1,...,yn∏i=1n+1q(yi|yi−1,yi−2)∏i=1ne(xi|yi)

$$y_1,y_2,...,y_n=\mathop{\arg\min}_{y_1,...,y_n}\prod_{i=1}^{n+1}q(y_i|y_{i-1},y_{i-2})\prod_{i=1}^{n}e(x_i|y_i)$$

其中参数有$q(y_i|y_{i-1},y_{i-2})$ 和 $e(x_i|y_i)$。

从训练数据集中，根据大数定律，用频率来近似概率，则有：

$$q(y_i|y_{i-1},y_{i-2})=\frac{\#(y_{i-2}, y_{i-1},y_i)}{\#(y_{i-2}, y_{i-1})}$$

其中$\#(y_{i-2}, y_{i-1},y_i)$ 和 $\#(y_{i-2}, y_{i-1})$都有可能为0，解决办法就是在week1中讲过Linear Interpolation smoothing；

然后有：

$$e(x_i|y_i)=\frac{\#(x_i,y_i)}{\#(y_i)}$$

其中$\#(x_i,y_i)$ 也有可能为0，为0的原因是$x_i$没有在训练集中出现过，解决办法是对训练数据集进行分类：

1. 经常出现的词：保留其原名称

2. 非常稀有的词：对这些词进行类别分类，将原有名称替换成类别名称，这样一来，对于没有出现过的$x_i$，只要将其分入类别中就行了。