关于相似度计算,现有的几种基本方法都是基于向量的,其实也就是计算两个向量的距离,距离越近相似度越大。在推荐的场景中,在用户-物品偏好的二维矩阵中,我们可以将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度,或者将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度。
同现相似度
物品i和物品j的同现相似度公式定义:
其中,分母是喜欢物品i的用户数,而分子是同时喜欢物品i和物品j的用户数据。因此,上述公式可以理解为喜欢物品i的用户中有多少比例的用户也喜欢物品j。
上述公式存在一个问题,如果物品j是热门物品,很多人喜欢,那么就会很大,接近1。因此该公式会造成任何物品都会和热门物品有很大的相似度。为了避免热门的物品,可以用如下公式:
这个公式惩罚了物品j的权重,因此减轻了热门物品与很多物品相似的可能性。欧式距离
最初用于计算欧几里得空间中两个点的距离,假设x、y是n维空间的两个点,它们之间的欧几里得距离是:
可以看出,当n=2时,欧几里得距离就是平面上两个点的距离。
当用欧几里得距离表示相似度时,一般采用以下公式进行转换:距离越小,相似度越大。
- 皮尔逊相关系数
一般用于计算两个定距变量间联系的紧密程度,它的取值在【-1,+1】之间。 - Cosine相似度
被广泛用于计算文档数据的相似度。 - Tanimoto系数
也被称为Jaccard系数,是Cosine 相似度的扩展,也多用于计算文档数据的相似度。
参考:机器学习书籍