计算两个文本之间的相似度

1、计算文本相似度需要将文本转换为向量数据,以下使用智谱api接口将文本转换为向量

from zhipuai import ZhipuAI

client = ZhipuAI(api_key="") #填入智谱AIP

response = client.embeddings.create(
    model = "embedding-2",  # 填写需要调用的模型名称
    input = "你有没有吃饭"
)
save_line = response.data[0].embedding
print(save_line)

2、利用余弦相似度来计算两个文本之间的相似程度

import numpy as np
from numpy.linalg import norm
def cos_sim(vector_a, vector_b):
    """
    计算两个向量之间的余弦相似度
    :param vector_a: 向量 a
    :param vector_b: 向量 b
    :return: sim
    """
    vector_a = np.mat(vector_a) #转换为向量矩阵
    # print(vector_a)
    vector_b = np.mat(vector_b) #转换为向量矩阵
    # print(vector_b)
    #计算余弦相似度
    num = float(vector_a * vector_b.T)
    denom = np.linalg.norm(vector_a) * np.linalg.norm(vector_b)
    sim = num / denom
    return sim

def cos_sim2(vector_a, vector_b):
    """
     计算两个向量之间的余弦相似度
     :param vector_a: 向量 a    
     :param vector_b: 向量 b
     :return: sim
     """
    A = np.array(vector_a)
    B=np.array(vector_b)
    cosine = np.dot(A, B) / (norm(A) * norm(B))
    return cosine

if __name__ == '__main__':

    # 文本转换为向量 内容有点多  这里不再进行展示
    a = [] #文本向量 1  将   你有没有吃饭   转换为向量
    b = [] #文本向量 2  将   你吃饭了吗     转换为向量
    print("cos_sim计算相似度结果",cos_sim(a,b))
    print("cos_sim2计算相似度结果",cos_sim2(a,b))

3、以下为我自己在本地对比的结果

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值