python自然语言处理实战（一）：NLP基础

从建模角度讲，为了方便计算机处理，自然语言处理成符号的集合来传递信息，然后通过建立计算机框架来实现语言模型，并且不断完善这样的语言模型，还需要根据语言模型来设计各种使用的系统，并且讨论这些使用技术的评测技术。从自然语言的角度出发，NLP基本可以分为两个部分：自然语言处理和自然语言生成，演化为理解和生成文本的任务。—这些话理解还不透彻 <__>

NLP的研究任务
机器翻译、情感分析、智能问答、文摘生成，文本分类、舆论分析、知识图谱。

NLP相关知识
1.分词 ( segment )：中文没有空格作为分隔，中文词语分析是中文分词的基础和关键。中文分析最常用的手段是基于字典的最长串匹配。
2.词性标注 ( part-of-speech tagging )：标注的目的是表证词的一种隐藏状态
3.命名实体识别：从文本中识别具有特定类别的实体（通常为名词）
4.句法分析：往往是一种基于规则的专家系统。目的是解析句子中各个成分的依赖关系，可以解决传统词袋模型不考虑上下文的问题。
5.指代消除：中文中代词出现的频率很高。
6.情感识别：本质上是分类问题，通常可以基于词袋模型+分类器，或者现在流行的词向量模型+RNN，后者比前者准确率略高。
7.纠错：可以基于N-Gram进行纠错，也可以通过字典树、有限状态机等方法进行纠错。
8.问答系统：往往需要知识识别、合成、自然语言理解、知识图谱等多项技术配合。