doc2vec是基于word2vec的,word2vec对于计算两个词语的相似度效率比较好,修改了word2vec中的cbow和skip-gram模型,paragraph vector直接得到doc向量。
使用过程
1.读取文件,os.walk()遍历文件夹
2.构建语料库,分词,过滤停用词。用gensim.models.doc2vec.TaggedDocument() 为文档打tag
3.创建model
model = Doc2Vec(size=50, min_count=1, iter=10)
model.build_vocab(corpora_documents)
model.train(corpora_documents)
4.计算相似度
inferred_vector = model.infer_vector(test_cut_raw_1)
sims = model.docvecs.most_similar([inferred_vector], topn=3)
print sims
代码参考例子:https://github.com/iamxiaomu/doc2vec
参考:
http://blog.csd

doc2vec是word2vec的扩展,通过paragraph vector直接获取文档向量,适用于文档相似度计算。主要步骤包括:遍历文件、构建语料库、分词和过滤停用词、创建doc2vec模型,以及计算相似度。实现代码可以在提供的GitHub链接中找到。
最低0.47元/天 解锁文章
3365

被折叠的 条评论
为什么被折叠?



