利用word2vec计算两个短文本的相似度

import gensim
import jieba
import numpy as np
from scipy.linalg import norm

model_file = 'C:/Users/Administrator/Desktop//word2vec/news_12g_baidubaike_20g_novel_90g_embedding_64.bin'
model = gensim.models.KeyedVectors.load_word2vec_format(model_file, binary=True)

def vector_similarity(s1, s2):
    def sentence_vector(s):
        words = jieba.lcut(s)
        v = np.zeros(64)
        for word in words:
            v += model[word]
        v /= len(words)
        return v

    v1, v2 = sentence_vector(s1), sentence_vector(s2)
    return np.dot(v1, v2) / (norm(v1) * norm(v2))

s1 = '简欧欧式沙发椅卧室咖啡厅小户型双人沙发美式复古皮艺沙发'
s2 = '布艺沙发简约小户型沙发组合可拆洗转角出租房三人客厅整装家具'
vector_similarity(s1, s2)

输出为:

0.8733292588236009

备注:利用的是现成的.bin模型文件,稍后我会把文件传上来。

遇到的问题:我在运行过程中,发现运行速度非常慢,不知道是为什么。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值