自然语言处理——综述

自然语言处理的四个过程：

1：把需要研究的问题在语言学上加以形式化，使之呢萌购以一定的数学形式，严格而规整的表示出来

2：把这种严密的规整的问题在语言学的形式上加以形式化，使之能以一定的数学形式，严密规整的表示出来

3：根据算法编写计算机程序，在计算机上加以实践出来

4：对于建立的自然语言处理系统进行评测，使之不断进行改进质量和性能，满足用户的需求

自然语言处理模型需要的不同平面的知识：

1、声学和韵律学的知识，描述语言的节奏，语调和声调的规律，说明语音怎么样形成音位

2、音位学的知识，描述音位的结合规律，说明音位如何形成语素

3、形态学的知识，描述语素的结合规律，说明语素如何形成单词

4、词汇学的知识，描述词汇系统的规律，说明单词本身固有的语义特性和语法特性

5、句法学的知识，描述单词或者词组之间的结构规则，说明单词或者词组怎么形成句子

6、语义学的知识，描述句子中各个成分之间的语义关系，这样的语义关系和情景是无关的，说明怎么从构成句子的各个成分推导出整个句子的语义。

7、话语分析的知识，描述句子和句子之间的结构规律，说明怎么推导出句子具有的和周围华语有关的各种语义。

8、语用学的知识，描述与场景有关的情景语义，说明怎么推导出句子具有的与周围话语有关的各种含义。

9、外界的常识性知识，描述关于语言使用者和语言使用环境的一般性尝试，例如，语言使用者的信念和目的，说明怎么推导出这样的信念和目的内在的结构。

词汇学层面可能涉及具体的单词的构成成分（如语素）以及它们的屈折变化形式的知识，句法学平面可能涉及在具体的语言中单词或者词组怎么样结合成句子的知识；语义学平面可能涉及在给具体的单词或者句子指派意义的知识，语用学涉及到在对话中话语焦点的转移以及在给定的上下文中怎么解释句子的含义的知识。

单词部分，讲述与单词和简单单词序列的计算机处理有关的概念：单词切分，单词形态学，单词编辑距离，词类，以及单词计算机处理中的各种算法：正则表达式，有限自动机，有限转录机，N元语法模型，隐马尔可夫模型，对数线性模型等。第二部分“语音”，首先介绍语言语音学，然后讲述语音合成，语音识别以及在计算音系学中的语言问题。第三部分“句法”，介绍英语的短语结构语法，讲述用于单词之间的句法结构关系的一些主要的算法：CKY剖析算法，Earley剖析算法，统计剖析，合一与类型特征结构，以及诸如Chomsky层级分类和抽吸引理等分析工具。第四部分“语义学和语用学”，介绍一阶谓词演算以及语义的各种表示方法，λ计算，词汇语义学，诸如Wordnet，PropBank和FrameNet等词汇语义资源，用于计算单词相似度和词义排歧的词汇语义学的计算模型，以及诸如 同指（coreference，a relationship between two words or phrases in which both refer tothe same person or thing and one stands as a linguistic antecedentof the other, as the two pronouns in She taught herself but not inShe taught her.）和连贯（coherence）等话语分析问题。第五部分应用，讲述信息抽取，机器翻译，对话和会话的智能代理等。