用Python构建NLP Pipeline，从思路到具体代码，这篇文章一次性都讲到了

面向用户：对NLP感兴趣，想学习处理问题思路并通过实例代码练手

阅读时长：全文大约 2000 字，读完可能需要下面这首歌的时间

授人以鱼不如授人以渔，今天的文章由作者Adam Geitgey授权在人工智能头条翻译发布。不仅给出了具体代码，还一步步详细解析了实现原理和思路。正所谓有了思路，无论是做英语、汉语的语言处理，才算的上有了指导意义。

Adam Geitgey毕业于佐治亚理工学院，曾在团购网站Groupon担任软件工程师总监。目前是软件工程和机器学习顾问，课程作者，Linkedin Learning的合作讲师。

计算机是如何理解人类语言的?

让机器理解人类语言，是一件非常困难的事情。计算机的专长在处理结构化数据，但人类语言是非常复杂的，碎片化，松散，甚至不合逻辑、心口不一。

既然直男不能明白为什么女朋友会生气，那计算机当然无法理解A叫B为孙子的时候，是在喊亲戚、骂街，或只是朋友间的玩笑。

面对人类，计算机相当于是金刚陨石直男。

正是由于人工智能技术的发展，不断让我们相信，计算机总有一天可以听懂人类表达，甚至像真人一样和人沟通。那么，就让我们开始这算美好的教程吧。

---

创建一个NLP Pipeline

London is the capital and most populous city of England and the United Kingdom. Standing on the River Thames in the south east of the island of Great Britain, London has been a major settlement for two millennia. It was founded by the Romans, who named it Londinium.

伦敦，是英国的首都，人口居全国之首。位于大不列颠岛东南方泰晤士河流域，在此后两个世纪内为这一地区最重要的定居点之一。它于公元50年由罗马人建立，取名为伦蒂尼恩。

-- 维基百科

Step 1：断句（句子切分）

上面介绍伦敦的一段话，可以切分成3个句子：

1. 伦敦是大不列颠的首都，人口居全国之首（London is the capital and most populous city of England and the United Kingdom）

2. 位于泰晤士河流域（Standing on the River Thames in the south east of the island of Great Britain, London has be