nltk.stem 词干提取（stemming）

wamg潇潇

于 2019-08-07 17:18:32 发布

阅读量9.3k

点赞数 5

本文链接：https://blog.csdn.net/qq_29831163/article/details/98763720

版权

本文介绍了三种常见的词干提取技术：Porter、Lancaster和Snowball算法，这些技术在自然语言处理中用于减少词汇变化，将单词归结为其基本形式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Stemming 可以抽取词的词干或词根形式，NLTK中提供了三种最常用的词干提取器接口

'''基于Porter词干提取算法'''

from nltk.stem.porter import PorterStemmer
porter_stemmer = PorterStemmer()

porter_stemmer.stem(‘multiply’)  #  u’multipli’

''' 基于Lancaster 词干提取算法  '''
from nltk.stem.lancaster import LancasterStemmer

lancaster_stemmer = LancasterStemmer()
lancaster_stemmer.stem(‘multiply’)      #  ‘multiply’ 

'''基于Snowball 词干提取算法   ''''
from nltk.stem import SnowballStemmer

snowball_stemmer = SnowballStemmer(“english”)
snowball_stemmer.stem(‘multiply’)   #  u’multipli’