百面机器学习--No.4 模型评估 -- 余弦距离

余弦相似度

将特征表示为向量，向量与向量之间的相似性，常常使用余弦相似度来表示。

余弦相似度定义：

两个向量夹角的余弦， 关注的是向量之间的角度关系， 并不关心它们的绝对大小， 其取值范围是[−1,1]。

Q1：为什么在一些场景中要使用余弦相似度而不是欧氏距离？

如果使用词频或词向量作为特征， 它们在特征空间中的的欧氏距离通常很大； 而如果使用余弦相似度的话， 它们之间的夹角可能很小， 因而相似度高。

在文本、 图像、视频等领域， 研究的对象的特征维度往往很高， 余弦相似度在高维情况下依然保持“相同时为1， 正交时为0， 相反时为−1”的性质， 而欧氏距离的数值则受维度的影响， 范围不固定， 并且含义也比较模糊。

例如Word2Vec中， 其向量的模长是经过归一化的， 欧式距离和余弦距离有着数学关系:

欧氏距离体现数值上的绝对差异， 而余弦距离体现方向上的相对差异。 举例，我们分析两个用户对于不同视频的偏好， 更关注相对差异， 显然应当使用余弦距离。 而当我们分析用户活跃度， 以登陆次数(单位： 次)和平均观看时长(单位： 分钟)作为特征时，两个用户余弦距离很近； 但显然这两个用户活跃度是有着极大差异的， 此时我们更关注数值绝对差异， 应当使用欧氏距离。

Q2: 余弦距离是否是一个严格定义的距离?

什么是距离 ：
距离的定义： 在一个集合中， 如果每一对元素均可唯一确定一个实数， 使得三条距离公理（ 正定性， 对称性， 三角不等式） 成立， 则该实数可称为这对元素之间的距离。

余弦距离满足正定性和对称性， 但是不满足三角不等式， 因此它并不是严格定义的距离。

正定性:

当 dist(A, B) = 0 的时候，A = B，同时 模A * 模B >= AB ，因此满足正定性 。

对称性：

三角不等式：

或者是，使用欧式距离来反推余弦距离：

因为欧式距离为一个严格的距离，满足三角不等关系，但是余弦距离是欧式距离的平方的一半，忽略掉线性系数的影响，可以得到的是，虚余弦距离是欧式距离的平方项，即余弦距离与欧氏距离有二次关系， 自然不满足三角不等式。