pos python_python – 为什么pos_tag()如此痛苦地缓慢而且可以避免这种情况？

对于nltk 3.1版,在

nltk/tag/__init__.py内,pos_tag的定义如下：

from nltk.tag.perceptron import PerceptronTagger

def pos_tag(tokens, tagset=None):

tagger = PerceptronTagger()

return _pos_tag(tokens, tagset, tagger)

因此,对pos_tag的每次调用都首先实例化PerceptronTagger,这需要一些时间,因为它涉及loading a pickle file._pos_tag simply calls tagger.tag当tagset为None时.

因此,您可以通过加载文件一次来节省一些时间,并自己调用tagger.tag而不是调用pos_tag：

from nltk.tag.perceptron import PerceptronTagger

tagger = PerceptronTagger()

def __remove_stop_words(self, tokenized_text, stop_words, tagger=tagger):

sentences_pos = tagger.tag(tokenized_text)

filtered_words = [word for (word, pos) in sentences_pos

if pos not in stop_words and word not in stop_words]

return filtered_words

在多次调用_pos_tag之前,pos_tag_sents使用与上面相同的技巧 – it instantiates PerceptronTagger once.因此,使用上面的代码可以获得类似的性能提升,就像重构和调用pos_tag_sents一样.

此外,如果stop_words是一个长列表,您可以通过设置stop_words来节省一些时间：

stop_words = set(stop_words)

因为检查集合中的成员资格(例如,不在stop_words中的pos)是O(1)(恒定时间)操作,而检查列表中的成员资格是O(n)操作(即,它需要的时间与该长度成比例地增长.列表).