自然语言处理 开源_12种用于自然语言处理的开源工具

自然语言处理 开源

在过去的几年中，自然语言处理（NLP）是为所有渗透到我们生活中的聊天机器人，语音助手，预测文本和其他语音/文本应用程序提供支持的技术。 那里有各种各样的开源NLP工具，因此我决定进行调查，以帮助您计划下一个基于语音或文本的应用程序。

在本次审查中，尽管我并不熟悉所有工具，但我还是专注于使用熟悉的语言的工具。 （无论如何，我找不到大量我不熟悉的语言的工具。）也就是说，出于各种原因，我排除了我所熟悉的三种语言的工具。

我没有包括的最明显的语言可能是R，但是我发现的大多数库都没有超过一年的更新时间。 这并不总是意味着它们维护得不好，但是我认为他们应该更频繁地获取更新，以便与同一领域的其他工具竞争。 我还选择了最可能用于生产场景（而不是学术界和研究）的语言和工具，并且我最常使用R作为研究和发现工具。

我也惊讶地发现Scala库停滞了。 自从我上次使用Scala以来已经过去了两年，那时它非常流行。 从那时起，大多数库都没有更新过，或者只有少数更新。

最后，我排除了C ++。 这主要是因为我上次使用C ++编写已经有很多年了，而我工作的组织还没有将C ++用于NLP或任何数据科学工作。

Python工具

自然语言工具包（NLTK）

很容易争辩说， 自然语言工具包（NLTK）是我调查过的功能最全的工具。 它几乎实现了您需要的NLP的任何组件，例如分类，标记化，词干，加标签，解析和语义推理。 通常，每种实现都有一个以上的实现，因此您可以选择要使用的确切算法或方法。 它还支持多种语言。 但是，它以字符串的形式表示所有数据，这对于简单的结构来说是很好的选择，但很难使用某些高级功能。 文档也很密集，但是有很多，还有