自然语言处理笔记week3

week3课程内容

Part of speech tagging词类标注：

1.POS(Part of speech)词类：

词类标注的工作，就是给句子中的每个单词标注上它在这句话中正确的词性。这项工作的难点在于，一个单词往往具有多个词性。

2.两种tagging方法：

（1）基于规则的标注方法：rule-based tagging
（2）HMM(Hidden Markov Model 隐马尔科夫模型)

3.正式介绍 HMMs：

（1）任务介绍：对于一个单词序列$w_1,w_2...w_n$，我们希望找到一组词性序列$t_1,t_2...t_n$，使得词性序列与单词序列匹配得最好，即找到：
$$t_1^n=\underset{t_1,t_2...t_n}{\mathrm{argmax}}P(t_1,t_2...t_n|w_1,w_2...w_n)$$
利用bayes公式$P(x|y)=\frac{P(y|x)P(x)}{P(y)}$，上式变为：
$$\begin{gathered} t_1^n=\underset{t_1,t_2...t_n}{\mathrm{argmax}}\frac{P(w_1,w_2...w_n|t_1,t_2...t_n)P(t_1,t_2...t_n)}{P(w_1,w_2...w_n)} \\ \approx \underset{t_1,t_2...t_n}{\mathrm{argmax}}P(w_1,w_2...w_n|t_1,t_2...t_n)P(t_1,t_2...t_n) \end{gathered}$$
这里，$P(w_1,w_2...w_n|t_1,t_2...t_n)$叫做似然度（likelihood）， $P(t_1,t_2...t_n)$叫做先验概率（prior）

likelihood和prior均可以通过训练集统计得到。
（2）Markov chain与HMM：
马尔科夫链是一阶可观测马尔科夫模型，我们知道状态集与各状态之间的转移概率，我们观测到的就是状态本身。
而隐式马尔科夫模型，我们无法观测到状态本身，只能观测到与状态有关系的东西。为便于理解，有下面的例子：

简言之，就是我们如何通过多年前一个孩子吃冰淇淋数目的记录，推测当时的天气变化。这个例子中，我们无法直接观察天气，但可以间接推测，这就是“隐”的含义。
HMM定义如下：

简单表示，就是：$HMM=\Pi ,A,B+Q+O$，注：B是状态确定时，观测为O的概率。另外，记 Λ = { Π , A , B } \Lambda=\{\Pi,A,B \} Λ={Π,A,B}
（3）HMMs训练存在的问题：参考网站

• 识别问题（概率计算算法）：给定$\Lambda$，如何计算模型产生观测序列$O_1,O_2...O_n$的概率$P(O|\Lambda )$ ? 也就是如何评价模型与观测序列的匹配度。解决：前向算法
• 学习问题（学习算法）：如何根据已知的观测序列，训练出最匹配的模型参数$\Lambda$。解决：EM算法
• 解码问题（预测算法）：如何根据训练好的模型，推出隐状态。解决：viterbi算法

–> 自然语言处理笔记week4