NLP-词性标注-隐马尔可夫模型实现

---

一、词性标注

词性标注是语料库语言学中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术。

二、HMM词性标注构建

1.词性标注任务目标

词性标注的任务是：给定词序列 $W=w_1,w_2,\dots ,w_n$ ，寻找词性标注序列 $T=t_1,t_2,\dots ,t_n$，使得 $P(t_{!},t_2,...,t_n|w_1,w_2,...,w_n)$ 这个条件概率最大。

例如，词序列是：“他回来” 这句话。为了简化计算，假设只有词性：代词（$r$）、动词（$v$）、名词（$n$）和方位词（$f$）。这里：“他” 只可能是代词，“会” 可能是动词或者名词，而 “来” 可能是方位词或者动词。所以有4种可能的标注序列。

需要比较以下四个概率：
$P(r,v,v|他,会,来)$
$P(r,n,v|他,会,来)$
$P(r,v,f|他,会,来)$
$P(r,n,f|他,会,来)$
发现$P(r,v,v|他,会,来)$是这4个概率中最大的，所以选择词性标注序列 $(r，v，v)$。

使用贝叶斯公式重新描述这个条件概率：
$P(t_1,t_2,...,t_n|w_1,w_2,...,w_n)$ =

$P(t_1,t_2,...,t_n)\ast P(w_1,w_2,...,w_n|t_1,t_2,...,t_n)/P(w_1,w_2,...,w_n)$

忽略掉分母，使用二元模型以及齐次性使 $P(t_1,t_2,...,t_n)\ast P(w_1,w_2,...,w_n|t_1,t_2,...,t_n)$ 概率最大。

其中：
$P(t_1,t_2,...,t_n)=P(t1)p(t_2|t_1)...p(t_n|t_{n-1})$
$P(w_1,w_2,...,w_n|t_1,t_2,...,t_n)=p(w_1|t_1)...p(w_n|t_n)$

2. 模型状态集合

$Q$ = {$r$， $v$， $n$， $f$}，$N$ = 4

3. 观察状态集合

$V$ = {$我$，$会$，$来$ … } ，句子的集合。

4. 状态转移概率分布矩阵

在词性标注中就是状态序列 $Q$ = {$r$， $v$， $n$， $f$} 的转移概率，这个状态概率矩阵是在训练阶段参数估计中得到。

5. 观测状态概率矩阵(发射概率)

在词性标注中发射概率指的是每一个字符对应状态序列 $Q$ = {$r$， $v$， $n$， $f$} 中每一个状态的概率，通过对训练集每个字符对应状态的频数统计得到。

6. 初始概率

词性标注中初始状态概率指的是每一句话第一个字符的对应词性概率。
{$r$：xxx， $v$: xxx， $n$: xxx， $f$: xxx}

7. 维特比求解