参考资料:https://www.cnblogs.com/chen8023miss/p/11458571.html
python进行自然语言处理,有一些第三方库供大家使用:
一、前言
NLTK(Python自然语言工具包)
用于诸如标记化、词形还原、词干化、解析、POS标注等任务。该库具有几乎所有NLP任务的工具。
Spacy
是NLTK的主要竞争对手。这两个库可用于相同的任务。
Scikit-learn
为机器学习提供了一个大型库。此外还提供了用于文本预处理的工具。
Gensim
是一个主题和向量空间建模、文档集合相似性的工具包。
Pattern
库的一般任务是充当Web挖掘模块。因此,它仅支持自然语言处理(NLP)作为辅助任务。
Polyglot
是自然语言处理(NLP)的另一个Python工具包。它不是很受欢迎,但也可以用于各种NLP任务。
NLTK
是一个高效的Python构建的平台,用来处理人类自然语言数据。它提供了易于使用的接口,通过这些接口可以访问超过50个语料库和词汇资源(如WordNet),还有一套用于分类、标记化、词干标记、解析和语义推理的文本处理库,以及工业级NLP库的封装器和一个活跃的讨论论坛。
二、NLTK模块
NLTK 提供段落拆分/拆分词语/识别词性/高亮主题/了解文本关于什么
使用 NLTK 进行情感分析:
分词 - 将文本正文分割为句子和单词。
词性标注
机器学习与朴素贝叶斯分类器
如何一起使用 Scikit Learn(sklearn)与 NLTK
用数据集训练分类器
用 Twitter 进行实时的流式情感分析。