doc2vec java_doc2vec的Python简单实现?

我试图从gensim实现doc2vec,但有一些错误,并没有足够的文档或帮助在web上。

以下是我的部分工作代码:from gensim.models import Doc2Vec

from gensim.models.doc2vec import LabeledSentence

class LabeledLineSentence(object):

def __init__(self, filename):

self.filename = filename

def __iter__(self):

with open(self.filename, 'r') as f:

for uid, line in enumerate(f):

print LabeledSentence(line.split(), tags=['TXT_%s' % uid])

yield LabeledSentence(words=line.split(), tags=['TXT_%s' % uid])

sentences = LabeledLineSentence('myfile.txt')

我的txt文件是什么样子的:

^{pr2}$

初始化模型model = Doc2Vec(alpha=0.025, min_alpha=0.025, size=50, window=5, min_count=5,

dm=1, workers=8, sample=1e-5)

打印输出示例:LabeledSentence(['hi', 'how', 'are', 'you'], ['TXT_0'])

LabeledSentence(['hi', 'how', 'are', 'you'], ['TXT_1'])

LabeledSentence(['hi', 'how', 'are', 'you'], ['TXT_2'])

LabeledSentence(['its', 'such', 'a', 'great', 'day'], ['TXT_3'])

LabeledSentence(['its', 'such', 'a', 'great', 'day'], ['TXT_4'])

这就是错误所在:for epoch in range(500):

try:

print 'epoch %d' % (epoch)

model.train(sentences)

model.alpha *= 0.99

model.min_alpha = model.alpha

except (keyboardInterrupt, SystemExit):

break

RuntimeError: you must first build vocabulary before training the model

知道为什么吗?在

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值