自然语言处理第一章 NLP基础

一、NLP（Natural Language Processing)自然语言处理事计算机科学领域的一个重要研究方向，要就用计算机来处理，理解以及运用人类语言达到人与计算机之间的有效通讯

二、分为两个部分：自然语言理解以及自然语言生成，已经演化成了理解和生成文本的任务

研究任务：机器翻译，情感分析，智能回答，文摘生成，文本分类，舆论分析，知识图谱

三、基本术语：

分词 segment 词是最小的能够独立活动的有意义的语言成分，分词常用的手段是基于字典的最长串匹配，但是存在歧义的问题

词性标注 part-of-speech tagging 标注的目的是表征词的一种隐藏状态，隐藏状态构成的转义就构成了状态转移序列

命名实体识别NER Named Entity Recognition 命名实体是指从文本中识别具有特定类别的实体，通常是名词，例如人名，地名，机构名，专有名词

句法分析 syntax parsing 句法分析往往是一种基于规则的专家系统（专家系统是一个智能计算机程序系统，其内部含有大量的某个领域专家水平的知识与经验。它能够利用人工智能技术和计算机技术，根据系统中的知识与经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题。简而言之，专家系统是一种模拟人类专家解决领域问题的计算机程序系统。），句法分析的目的是解析句子中各个成分的依赖关系，

指代消解 anaphora resolution 中文中代词的出现频率很高，它的作用是用来表征前文中出现过的人名地名等，在一些语义环境中我们只会说“这”，“他”，“这所大学”等

情感识别 emotion recognition 所谓情感识别，本质上是分类问题，主要应用在舆情分析等领域

纠错 correction 自动纠错在搜索技术以及输入法中用的很多

问答系统 QAsystem 比如 Siri 小爱

四、语料库

中文维基百科，搜狗新闻语料库，IMDB情感分析语料库