在机器学习算法中,有各种方式衡量用户或者物品的距离或者相似度,如曼哈顿距离、欧几里得距离、Pearson相关系数、Jaccard系数等(可参考http://blog.csdn.net/lin00jian/article/details/51209715),我们这里主要详细介绍一下余弦相似度。余弦相似度被广泛用于协同过滤算法中,尤其是Item-base的协同过滤。
1、余弦相似度
余弦相似度衡量的是2个向量间的夹角大小,通过夹角的余弦值表示结果,因此2个向量的余弦相似度为:
cosθ=A⋅B||A||∗||B||(1)
分子为向量A与向量B的点乘,分母为二者各自的L2相乘,即将所有维度值的平方相加后开方。
余弦相似度的取值为[-1,1],值越大表示越相似。
2、理论推导
我们以二维向量为例,计算向量(x1,y1)的余弦相似度。
先回顾一下初中的知识,看下图:
我们可以得到公式:
c2=a2+b2−2abcosθ(2)
其中:
a2b2c2=x21+y21=x22+y22=(x1−x2)2+(y1−y2)2(3)
\begin{aligned}
a^2&=x_1^2+y_1^2 \\
b^2&=x_2^2+y_2^2 \\
c^2&=(x_1-x_2)^2+(y_1-y_2)^2\tag{3}
\end{aligned} \begin{aligned}a^2&=x_1^2+y_1^2 \\b^2&=x_2^2+y_2^2 \\c^2&=(x_1-x_2)^2+(y_1-y_2)^2\tag{3}\end{aligned}
a^2&=x_1^2+y_1^2 \\
b^2&=x_2^2+y_2^2 \\
c^2&=(x_1-x_2)^2+(y_1-y_2)^2\tag{3}
\end{aligned} \begin{aligned}a^2&=x_1^2+y_1^2 \\b^2&=x_2^2+y_2^2 \\c^2&=(x_1-x_2)^2+(y_1-y_2)^2\tag{3}\end{aligned}
于是,我们可以得到:
cosθ=a2+b2−c22ab=2(x1x2+y1y2)2x21+y21‾‾‾‾‾‾‾√x22+y22‾‾‾‾‾‾‾√=A⋅B||A||∗||B||(4)
\begin{aligned}
\cos\theta
&=\frac{a^2+b^2-c^2}{2ab}\\
&=\frac{2(x_1x_2+y_1y_2)}{2\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\\
&=\frac{A\cdot B}{||A|| *||B||} \tag{4}
\end{aligned} \begin{aligned}\cos\theta&=\frac{a^2+b^2-c^2}{2ab}\\&=\frac{2(x_1x_2+y_1y_2)}{2\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\\&=\frac{A\cdot B}{||A|| *||B||} \tag{4}\end{aligned}
\cos\theta
&=\frac{a^2+b^2-c^2}{2ab}\\
&=\frac{2(x_1x_2+y_1y_2)}{2\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\\
&=\frac{A\cdot B}{||A|| *||B||} \tag{4}
\end{aligned} \begin{aligned}\cos\theta&=\frac{a^2+b^2-c^2}{2ab}\\&=\frac{2(x_1x_2+y_1y_2)}{2\sqrt{x_1^2+y_1^2}\sqrt{x_2^2+y_2^2}}\\&=\frac{A\cdot B}{||A|| *||B||} \tag{4}\end{aligned}
其中A与B表达向量 (x1,y1)。
分子为A与B的点乘,分母为二者各自的L2相乘,即将所有维度值的平方相加后开方。
3、一些特征情况分析
(1)夹角为0度
此时向量A与向量B应该是最相似的,余弦相似度应该为1。按照公式(4),我们计算很容易计算出来cosθ=1。
(2)夹角为90度
此时余弦相似度为0。
(3)夹角为180度
此时余弦相似度为-1,2个向量的方向完全相反。