NLTK （1.1）自然语言处理简介

自然语言处理简介

自然语言

所谓“自然语言”，是指人们日常交流使用的语言，如英语，印地语，葡萄牙语等。
相对于编程语言和数学符号这样的人工语言，自然语言随着一代人传给另一代人而不断演化，因而很难用明确的规则来刻画。

自然语言处理

从广义上讲，“自然语言处理”（Natural Language Processing 简称NLP）包含所有用计算机对自然语言进行的操作。
举个极端的例子，它可以是简单的通过计数词出现的频率来比较不同的写作风格。
另外一个极端的例子，NLP 包括完全“理解”人所说的话，至少要能达到对人的话语作出有效反应的程度。

自然语言处理的应用

情感分析
文本相似度
文本分类与信息过滤
信息检索
信息抽取与文本挖掘
机器翻译
自动摘要
自动问答

文本处理的基本流程

• 文本预处理（Preprocess）、
• 分词处理（Tokenize）
• 生成对应特征向量（Make Feature)
• 放入学习器学习（Machine Learning）