Python自然语言处理之词干,词形与最大匹配算法代码详解

@本文来源于公众号：csdn2299，喜欢可以关注公众号 程序员学府

本文主要对词干提取及词形还原以及最大匹配算法进行了介绍和代码示例，Python实现，下面我们一起看看具体内容。

自然语言处理中一个很重要的操作就是所谓的stemming和lemmatization，二者非常类似。它们是词形规范化的两类重要方式，都能够达到有效归并词形的目的，二者既有联系也有区别。

1、词干提取（stemming）

定义：Stemmingistheprocessforreducinginflected(orsometimesderived)wordstotheirstem,baseorrootform—generallyawrittenwordform.

解释一下，Stemming是抽取词的词干或词根形式（不一定能够表达完整语义）。

NLTK中提供了三种最常用的词干提取器接口，即Porterstemmer,LancasterStemmer和SnowballStemmer。

PorterStemmer基于Porter词干提取算法，来看例子

>>> from nltk.stem.porter import PorterStemmer 
>>> porter_stemmer = PorterStemmer() 
>>> porter_stemmer.stem(‘maximum') 
u'maximum'
>>> porter_stemmer.stem(‘presumably') 
u'presum'
>>> porter_stemmer.stem(‘multiply') 
u'multipli'
>>> porter_stemmer.stem(‘provision') 
u'provis'
>>> porter_stemmer.stem(‘owed') 
u'owe'

Lancaster Stemmer 基于Lancaster 词干提取算法，来看例子

>>> from nltk.stem.lancaster import LancasterStemmer 
>>> lancaster_stemmer = LancasterStemmer() 
>>> lancaster_stemmer.stem(‘maximum')