【NLP】词法分析和词性标注

词是自然语言中能够独立运用的最小单位,是自然语言处理的基本单位。自动词法分析就是利用计算机对自然语言的形态(morphology)进行分析，判断词的结构和类别等。词性或称词类(Part-of-Speech, POS)是词汇最重要的特性，是连接词汇到句法的桥梁。

目录

😄阐明屈折语、分析语、黏着语的语种包含哪些?针对不同的语言类型，相应的词法分析任务有哪些?

英语的形态分析

形态分析的一般方法

😍汉语自动分词中的主要问题?

😳汉语分词的基本原则和辅助原则是?

分词与词性标注结果评价方法

😁汉语自动分词基本算法

😆未登录词识别

😍词性标注概述

面临的问题

下一步分词与词性标注研究

---

😄阐明屈折语、分析语、黏着语的语种包含哪些?针对不同的语言类型，相应的词法分析任务有哪些?

英语的形态分析

形态分析的一般方法

1)查词典，如果词典中有该词，直接确定该词的原形

2)根据不同情况查找相应规则对单词进行还原处理，如果还原后在词典中找到该词，则得到该词的原形;如果找不到相应变换规则或者变换后词典中仍查不到该词，则作为未登录词处理

3)进入未登录词处理模块

😍汉语自动分词中的主要问题?

还有未登录词的识别。

😳汉语分词的基本原则和辅助原则是?

分词与词性标注结果评价方法

正确率、召回率(找回率)、F-测度值(F-Measure)。
 

😁汉语自动分词基本算法

1.最大匹配法(Maximum Matching, MM)

• 正向最大匹配算法(Forward MM,FMM)
• 逆向最大匹配算法(Backward MM, BMM)
• 双向最大匹配算法(Bi-directional MM)

2.最少分词法(最短路径法)
3.基于语言模型的分词方法
4.基于HMM的分词方法
5.由字构词（基于字标注)的分词方法
6.生成式方法与区分式方法的结合

😆未登录词识别

😍词性标注概述

面临的问题

词性(part-of-speech, POS)标注(tagging)的主要任务是消除词性兼类歧义。在任何一种自然语言中，词性兼类问题都普遍存在。

基于规则的词性标注方法

基于统计模型的词性标注方法

规则和统计方法相结合的词性标注方法

基于神经网络的词性标注方法

下一步分词与词性标注研究