自然语言处理学习笔记(007)

       分词标注一体化--概率全切分标注模型

       词性标注的基本方法有两种基于规则的方法和基于统计的方法。基于规则的方法需要采用人工的方法构建大量的语法规则, 该方法不易保证规则的完备性和在真实文本处理中的有效性。基于统计的方法主要有基于隐马尔可夫模型、基于最大熵的方法和决策树等方法。其中基于马尔可夫模型的方法是词性标注领域应用最广泛、最成熟的方法。

       概率全切分标注模型是一种改进的分词标注一体化方法，基于概率切分模型和马尔可夫模型。该方法的特点是将分词和标注两部分工作融为一体同时进行，然后再利用全切分得到的所有可能分词结果计算每一种可能词串的联合概率，并且利用马尔可夫模型标注器计算出每一种词串标记序列的概率，最后便可得到可能处理的结果。该方法最大程度上提高了查询结果的准确率和召回率。

       什么是全切分？就是把所有的分词结果都切分出来。

       什么是马尔可夫模型？和隐马尔可夫模型有什么区别呢？

       什么叫分词标注一体化？分词和标注同时进行吧。