1、计算文本相似度需要将文本转换为向量数据,以下使用智谱api接口将文本转换为向量
from zhipuai import ZhipuAI
client = ZhipuAI(api_key="") #填入智谱AIP
response = client.embeddings.create(
model = "embedding-2", # 填写需要调用的模型名称
input = "你有没有吃饭"
)
save_line = response.data[0].embedding
print(save_line)
2、利用余弦相似度来计算两个文本之间的相似程度
import numpy as np
from numpy.linalg import norm
def cos_sim(vector_a, vector_b):
"""
计算两个向量之间的余弦相似度
:param vector_a: 向量 a
:param vector_b: 向量 b
:return: sim
"""
vector_a = np.mat(vector_a) #转换为向量矩阵
# print(vector_a)
vector_b = np.mat(vector_b) #转换为向量矩阵
# print(vector_b)
#计算余弦相似度
num = float(vector_a * vector_b.T)
denom = np.linalg.norm(vector_a) * np.linalg.norm(vector_b)
sim = num / denom
return sim
def cos_sim2(vector_a, vector_b):
"""
计算两个向量之间的余弦相似度
:param vector_a: 向量 a
:param vector_b: 向量 b
:return: sim
"""
A = np.array(vector_a)
B=np.array(vector_b)
cosine = np.dot(A, B) / (norm(A) * norm(B))
return cosine
if __name__ == '__main__':
# 文本转换为向量 内容有点多 这里不再进行展示
a = [] #文本向量 1 将 你有没有吃饭 转换为向量
b = [] #文本向量 2 将 你吃饭了吗 转换为向量
print("cos_sim计算相似度结果",cos_sim(a,b))
print("cos_sim2计算相似度结果",cos_sim2(a,b))
3、以下为我自己在本地对比的结果