Python自然语言处理：词干、词形与MaxMatch算法

自然语言处理中一个很重要的操作就是所谓的stemming 和 lemmatization，二者非常类似。它们是词形规范化的两类重要方式，都能够达到有效归并词形的目的，二者既有联系也有区别。

1、词干提取（stemming）

定义：Stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form—generally a written word form.

解释一下，Stemming 是抽取词的词干或词根形式（不一定能够表达完整语义）。

NLTK中提供了三种最常用的词干提取器接口，即 Porter stemmer, Lancaster Stemmer 和 Snowball Stemmer。

Porter Ste