NLP | 自然语言处理 - 标注问题与隐马尔科夫模型（Tagging Problems, and Hidden Markov Models）

什么是标注？

在自然语言处理中有一个常见的任务，即标注。常见的有：1）词性标注（Part-Of-Speech Tagging），将句子中的每个词标注词性，例如名词、动词等；2）实体标注（Name Entity Tagging），将句子中的特殊词标注，例如地址、日期、人物姓名等。

下图所示的是词性标注的案例，当输入一个句子时，计算机自动标注出每个词的词性。

下图所示的是实体标注的案例，当输入一个句子时，计算机自动标注出特殊词的实体类别。

粗略看来，这并不是一个简单问题。首先每个词都可能有多个含义，不同情况表达不同含义；其次，一个词的含义或者词性也受到前后多个词的影响。

标注问题的数学表达

在找到解决方案之前，我们最好先用数学的语言来描述一下这个问题。当我们得到一个句子时，我们可以把它看做一个向量。令句子s有共计n个单词，第i个单词用xi来表示，显然s =  x1, x2, ... xn。因此问题可以描述成，对于每个单词xi，我们需要分别给定一个标注yi，因而获得句子的标注y = y1, y2, ... yn。