自然语言处理NLP快速入门

2019独角兽企业重金招聘Python工程师标准>>>

计算机非常擅长处理标准化和结构化的数据，如数据库表和财务记录。他们能够比我们人类更快地处理这些数据。但我们人类不使用“结构化数据”进行交流，也不会说二进制语言！我们用文字进行交流，这是一种非结构化数据。

不幸的是，计算机很难处理非结构化数据，因为没有标准化的技术来处理它。当我们使用c、java或python之类的语言对计算机进行编程时，我们实际上是给计算机一组它应该操作的规则。对于非结构化数据，这些规则是非常抽象和具有挑战性的具体定义。

人与计算机对语言的理解

人类写东西已经有几千年了。在这段时间里，我们的大脑在理解自然语言方面获得了大量的经验。当我们在一张纸上或互联网上的博客上读到一些东西时，我们就会明白它在现实世界中的真正含义。我们感受到了阅读这些东西所引发的情感，我们经常想象现实生活中那东西会是什么样子。

自然语言处理 (NLP) 是人工智能的一个子领域，致力于使计算机能够理解和处理人类语言，使计算机更接近于人类对语言的理解。计算机对自然语言的直观理解还不如人类，他们不能真正理解语言到底想说什么。简而言之，计算机不能在字里行间阅读。

尽管如此，机器学习 (ML) 的最新进展使计算机能够用自然语言做很多有用的事情！深度学习使我们能够编写程序来执行诸如语言翻译、语义理解和文本摘要等工作。所有这些都增加了现实世界的价值，使得你可以轻松地理解和执行大型文本块上的计算，而无需手工操作。

让我们从一个关于NLP如何在概念上工作的快速入门开始。之后，我们将深入研究一些python代码，这样你就可以自己开始使用NLP了！

NLP难的真正原因

阅读和理解语言的过程比乍一看要复杂得多。要真正理解一段文字在现实世界中意味着什么，有很多事情要做。例如，你认为下面这段文字意味着什么？

“Steph Curry was on fire last nice. He totallydestroyed the other team”

对一个人来说，这句话的意思很明显。我们知道 Steph Curry 是一名篮球运动员，即使你不知道，我们也知道他在某种球队，可能是一支运动队。当我们看到“着火”和“毁灭”时，我们知道这意味着Steph Curry昨晚踢得很好，击败了另一支球队。

计算机往往把事情看得太过字面意思。从字面上看，我们会看到“Steph Curry”，并根据大写假设它是一个人，一个地方，或其他重要的东西。但后来我们看到Steph Curry“着火了”…电脑可能会告诉你昨天有人把Steph Curry点上了火！…哎呀。在那之后，电脑可能会说, curry已经摧毁了另一支球队…它们不再存在…伟大的…

转载于:https://my.oschina.net/u/3611008/blog/2236557