英文分词算法(Porter stemmer)

最新推荐文章于 2024-08-07 07:15:00 发布

JOY酷酷

最新推荐文章于 2024-08-07 07:15:00 发布

阅读量5.4k

点赞数 2

分类专栏： NLP

本文链接：https://blog.csdn.net/baidu_27438681/article/details/60469699

版权

NLP 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

英文分词算法(Porter stemmer)

主要可以实现单词原型的还原，官网http://tartarus.org/~martin/PorterStemmer/

一些词汇的处理结果：http://snowball.tartarus.org/algorithms/porter/diffs.txt

官方给出的主程序代码：https://tartarus.org/martin/PorterStemmer/python.txt

具体实现代码：

import NLTKWrapper
def getStemming(sentence):
    words = []
    tokens = NLTKWrapper.wordtokenizer(sentence)
    #tokens数组存放已经从句子中分好的词
    #NLTKWrapper是我的另一个python文件
    p = PorterStemmer()
    for token in tokens:
        words.append(p.stem(token, 0, len(token)-1))
    
    return " ".join(words)
    #返回单词原型组成的句子
    
if __name__ == '__main__':
    print getStemming("I am a girl who is good at computer.")

参考：http://blog.csdn.net/whuslei/article/details/7398443