2、语料库更新后模型的在线训练
很多时候,当原有的语料库不符合要求,或者我们需要有更多语料加入到我们模型的时候,如果再重新训练模型,就显得十分的不合算了。
其实在Gensim当中,提供了模型的在线训练,即我们可以增加新的语料到现有的模型中,而不用全部重新学习。
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
from gensim.models import Word2Vec
import logging,gensim,os
from gensim.models.word2vec import LineSentence
model = Word2Vec.load('word2vector2.model')
new_corpus = LineSentence('corpus/iphone6sreview-seg.txt')
model.train(new_corpus)
model.save('word2vector3.model')
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
这里主要分为加载原有的模型,导入新的语料库,训练新的语料库,最后保存,我已经在代码当中将其分解清楚