统计自然语言处理学习 （序及第一章）

统计自然语言处理学习 （序及第一章）

自然语言处理定义

• 是一门交叉学科，包括自然语言学，数学（代数，概率）
• 自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现，这样的语言模型，，根据这样的模型设计各种实用系统，并探讨这些使用系统的测评技术。

统计自然语言处理应用

机器翻译，语音翻译，语音合成，文字识别，文本分类，信息检索，问答系统，信息抽取，口语信息处理，人机对话系统。

自然语言处理的方法

基于规则的自然语言处理（理性主义）

1. 人的大部分语言知识与生俱来，由遗传决定
2. 主张建立符号处理系统，由人工整理和编写的初始语言知识表示体系（规则），构造推理程序。
3. 系统根据规则和程序，将自然语言理解为符号结构。

处理流程

1. 由词法分析器按词法规则对单词进行词法分析。
2. 语法分析器按语法规则对句子进行语法结构分析。
3. 最后按变换规则将