1、自然语言处理入门：NLTK 与 Python 实战

自然语言处理入门：NLTK 与 Python 实战

1. 自然语言处理简介

语言是我们日常生活的核心部分，处理与语言相关的问题十分有趣。自然语言处理（NLP）本质上是运用计算技术处理语言，从事语言研究的是语言学家，而运用计算方法研究语言处理的则是计算语言学家。NLP 更侧重于将计算机应用于各种语言细节，并利用 NLP 技术构建实际应用。

在实际场景中，NLP 类似于教孩子学习语言。人类处理理解单词、句子和构建语法正确的句子等任务是自然而然的，但对计算机来说，NLP 中的分词、组块、词性标注、解析、机器翻译和语音识别等任务仍是极具挑战性的难题。

1.1 学习 NLP 的原因

在当今大数据时代，行业不仅需要擅长处理结构化数据的人才，更需要能够处理半结构化和非结构化数据的专业人员。我们每天都会产生大量的网络日志、推文、Facebook 动态、聊天记录、电子邮件和评论等非结构化数据，企业收集这些数据是为了更好地进行客户定位和获取有价值的见解，因此需要懂 NLP 的人来处理这些数据。

以下是一些常见的 NLP 应用：
- 拼写检查 ：如 MS Word 等编辑器中的拼写检查功能。
- 搜索引擎 ：像 Google、Bing、Yahoo 和 wolframalpha 等。
- 语音引擎 ：例如 Siri 和 Google Voice。
- 垃圾邮件分类器 ：所有电子邮件服务都具备的功能。
- 新闻推送 ：如 Go