自然语言处理

什么是NLP

1.1NLP的概念

NLP（Natural Language Processing，自然语言处理）是计算机科学领域以及人工智能领域的一个重要的研究方向，它研究用计算机来处理、理解以及运用人类语言（如中文、英文等），达到人与计算机之间进行有效通讯。所谓“自然”乃是寓意自然进化形成，为了区分一些人造语言（如：c++、java等人为设计的语言）这些年， NLP 研究取得了长足的进步，逐渐发展成独立的学科，从自然语言的角度出发，NLP 基本可以分为两个部分 自然语言处理以及自然语言生成，演化为理解和生成文本的任务，如图1-1 所示

自然语言的理解是个综合的系统工程，它又包含了很多细分学科，有代表声音的音系学，代表构词法的词态学代表语句结构的句法学，代表理解的语义句法学和语用学。

• 音系学：指代语言中发音的系统化组织
• 词态学 ：研究单词构成以及相互之间的关系
• 句法学： 给定文本的哪部分是语法正确的
• 语义学： 给定文本的含义是什么
• 语用学：文本的目的是什么？

语言理解涉及语言、语境和各种语言形式的学科 而自然语言生成（ Naturnguage Generation, NLG ）恰恰相反，从结构化数据中以读取的方式自