重写gensim.word2vec的文本相似度匹配函数（wmdistance）

最新推荐文章于 2024-07-26 15:05:42 发布

樱夕夕

最新推荐文章于 2024-07-26 15:05:42 发布

阅读量5.9k

点赞数

分类专栏： python 文章标签：文本相似度匹配函数 word2vec gensim

本文链接：https://blog.csdn.net/qq_21460525/article/details/71686350

版权

由于在Django环境中遇到导入gensim的问题，无法使用Word2Vec的wmdistance函数，本文档介绍了如何根据gensim源码重写这个文本相似度匹配功能。

摘要由CSDN通过智能技术生成

1.为什么要重写

因为在D jango上莫名其妙的不能import gensim。
从而不能from gensim.models import Word2Vec。
不能load_model.word2vec_model.wmdistance（sentence1,sentence2）。
因此根据原码更改了引入gensim包的部分内容。

2.改写后的代码

import pyemd
from gensim.corpora.dictionary import Dictionary
from numpy import exp, log, dot, zeros, outer, random, dtype, float32 as REAL,\
    double, uint32, seterr, array, uint8, vstack, fromstring, sqrt, newaxis,\
    ndarray, empty, sum as np_sum, prod, ones, ascontiguousarray
from keras.models import load_model
import cPickle as pickle

import logging

logger = logging.getLogger(__name__)
import sys
reload(sys)
sys.setdefaultencoding('utf-8')


def sentence_distance(document1, document2):
    len_pre_oov1 = len(document1)
    len_pre_oo