规范化文本

[w.lower() for w in text], 通过使用lower()将文本规范化为小写。还有更多的规范化文本的尝试。

词干提取器

Porter词干提取器

porter = nltk.PorterStemmer()
[porter.stem(t) for t in tokens]

词形归并

词形归并是一个过程，将一个词的各种形式映射到这个词的标准的或引用的形式，也称为词位或词元。

---

WordNet词形归并器， 删除词缀产生的词，都是它词典中的词。这个额外的检查使词形归并器比刚才的词干提取器速度要++慢++。

wnl = nltk.WordNetLemmatizer()
[wnl.lemmatize(t) for t in tokens]

参考《Natural Language Processing with Python》