词法分析与词性标注

词法分析与词性标注
词法分析概念
词性标注概念
词性标注理论基础
词性标注算法
词性标注应用
形态分析的方法
1.切分方法
2.最大匹配法
1）正向
2）逆向
3）双向
3.最少分词法（最短路径法）
4.基于语言模型的分词方法
5.基于HMM的分词方法
6.将生成式方法和判别式方法结合起来
## 自动分词面临的问题

词法分析概念

词法分析(英语:lexical analysis)是计算机科学中将字符序列转换为单词(Token)序列的过程。进行词法分析的程序或者函数叫作词法分析器(Lexical analyzer，简称Lexer)，也叫扫描器(Scanner)。词法分析器一般以函数的形式存在，供语法分析器调用。 完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。
完成词法分析任务的程序称为词法分析程序或词法分析器或扫描器。从左至右地对源程序进行扫描，按照语言的词法规则识别各类单词，并产生相应单词的属性字。

词性标注概念

词性标注（Part-Of-Speech tagging, POS tagging）也被称为语法标注（grammatical tagging）或词类消疑（word-category disambiguation），是语料库语言学（corpus linguistics）中将语料库内单词的词性按其含义和上下文内容进行标记的文本数据处理技术
  词性标注可以由人工或特定算法完成