衡量两个向量相似度的方法：余弦相似度

余弦相似度

在NLP的任务里，会对生成两个词向量进行相似度的计算，常常采用余弦相似度公式计算。

余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

我们知道，对于两个向量，如果他们之间的夹角越小，那么我们认为这两个向量是越相似的。余弦相似性就是利用了这个理论思想。它通过计算两个向量的夹角的余弦值来衡量向量之间的相似度值。

公式如下：

实现方式

手撸一个

公式很简单，调用numpy基本运算手撸一个。

def cos_sim(vector_a, vector_b):
    """
    计算两个向量之间的余弦相似度
    :param vector_a: 向量 a 
    :param vector_b: 向量 b
    :return: sim
    """
    vector_a = np.mat(vector_a)
    vector_b = np.mat(vector_b)
    num = float(vector_a * vector_b.T)
    denom = np.linalg.norm(vector_a) * np.linalg.norm(vector_b)
    sim = num / denom
    return sim

sklearn.metrics.pairwise 包

官方文档

• cosine_similarity()
  传入一个变量a时，返回数组的第i行第j列表示a[i]与a[j]的余弦相似度。
• pairwise_distances()
  该方法返回的是余弦距离，余弦距离= 1 - 余弦相似度，同样传入一个变量a时，返回数组的第i行第j列表示a[i]与a[j]的余弦距离。

例子

def learn_cosine_similarity():
    a = [[1, 3, 2], [2, 2, 1]]
    from sklearn.metrics.pairwise import cosine_similarity
    from sklearn.metrics.pairwise import pairwise_distances
    print('sim1:', cos_sim(a[0] ,a[1]))
    print('sim2:', cosine_similarity(a))
    print('sim3:', pairwise_distances(a,metric="cosine"))

Output:

sim1: 0.8908708063747479
sim2: [[1.         0.89087081]
 [0.89087081 1.        ]]
sim3: [[0.         0.10912919]
 [0.10912919 0.        ]]

与欧几里得距离的联系

在NLP任务比较词向量、实体向量相似度的场景中，例如Word2Vec，知识图谱实体向量做相似度计算时，对于目标向量进行归一化后，余弦距离和欧几里得距离具有单调性， 即：

在这个场景下，我们对于最终得到实体向量进行归一化后，用余弦距离或者用欧几里得距离就是等价的。