gensim 实现tfidf 之语料的流式加载_gensim 流式加载-CSDN博客

本文链接：https://blog.csdn.net/qq_34333481/article/details/95186257

有37万个文本数据来生成tfidf模型，如果直接一次性放入内存，会出现MemoryError

gensim实现了流式加载语料的功能，故定义迭代器完成语料的载入。

生成字典过程中，遍历file文件，每个处理一个文本数据。

import warnings
warnings.filterwarnings(action='ignore',category=UserWarning,module='gensim')
from gensim import corpora,similarities,models
file = open('train.txt','r',encoding='utf-8')
class mycorpus(object):
    def __iter__(self):
        for doc in file:
            yield doc.split(' ')
corp = mycorpus()
dictionary = corpora.Dictionary(corp)

同理，在产生gensim可以接收的BOW数据过程中，重新打开train.txt遍历一遍文档。因为在上一次的for循环里，文件指针已经到了文件末尾。

class MyCorpus(object):
    def __init__(self):
        print('MyCorpus')
    def __iter__(self):
        for doc in open('dingding.txt','r',encoding='utf-8'):
           # print(doc)
            yield dictionary.doc2bow(doc.split(' '))
corpus = MyCorpus()
# corpus = [dictionary.doc2bow(text) for text in self.text]
tfidf_model = models.TfidfModel(corpus, id2word=dictionary)
corpus_tfidf = tfidf_model[corpus]