相关系数

结论：在数据标准化之后，欧式距离、Pearson相关系数、Cosine相似度可认为是等价的。（https://www.zhihu.com/question/19734616/answer/349132554）

一、欧几里得距离

作用：m维空间中两个点之间的真是距离，或者向量的自然长度

两个n维向量x与y间的欧式距离：
$$D=\sqrt{\sum _{k=1}^n(xi-yi{)}^2}$$
向量运算形式：
$$D=\sqrt{(a-b)(a-b{)}^T}$$

---

二、 Pearson correlation coefficient（皮尔逊相关系数）

作用：度量两个变量之间的相关程度，最终结果介于-1到1之间。其结果为两个变量之间的协方差与标准差的商。

在欧式距离中，无法考虑不同变量之间的取值差异，例如：变量a范围0_{1，而变量b取值范围0}1000，计算欧式距离时变量上的微小差异会产生较大的影响。Pearson可以看作升级版的欧式距离，对不同变量取值范围不同进行了处理步骤，对取值范围没有要求。

协方差

首先引入协方差的表示，两个集合X，Y之间的协方差计算公式为：

$$COV（X,Y）=\frac{1}{n-1}(\sum _{i=1}^n(Xi-\overline{X})(Yi-\overline{Y}))$$

协方差的意义：如果结果为正值（当$Xi$大于(小于)$\overline{X}$并且$Yi$大于(小于)$\overline{Y}$），则说明X和Y是正相关，如果为负则说明负相关，如果为0则说明两者之间没有关联，相互独立。

Pearson相关系数的公式：

公式一：
$$COR(X,Y)=\frac{cov(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{{\sum }_{i=1}^n(Xi-\overline{X})(Yi-\overline{Y})}{\sqrt{{\sum }_{i=1}^n(Xi-\overline{X}{)}^2{\sum }_{i=1}^n(Yi-\overline{Y}{)}^2}}$$
公式二：
$$COR(X,Y)=\frac{cov(X,Y)}{{\sigma }_X{\sigma }_Y}=\frac{E(XY)-E(X)E(Y)}{\sqrt{E(X^2)-E^2(X)}\sqrt{E(Y^2)-E^2(Y)}}$$

公式中的E为期望，在离散数据中等价于均值，${\sigma }_X$为X的标准差。
${\sigma }_X=\sqrt{E(X^2)-E^2(X)}=\sqrt{{\sum }_{i=1}^n(Xi-\overline{X}{)}^2}$

---

三、Cosine相似度

用于计算文档数据的相似度。

二维向量中，向量$a=(x_1,y_1)$和向量$b=(x_2,y_2)$的夹角余弦值计算如下：
$$cos(\Theta )=\frac{\vec{a}\cdot \vec{b}}{|a|\ast |b|}=\frac{x_1{x}_2+y_1{y}_2}{\sqrt{x_1^2+y_1^2}\ast \sqrt{x_2^2+y_2^2}}$$
如果是n维向量，上述公式仍成立：
$$cos(\Theta )=\frac{X\cdot Y}{||X||\ast ||Y||}=\frac{{\sum }_{i=1}^n(x_i\ast y_i)}{\sqrt{{\sum }_{i=1}^n(x_i{)}^2}\sqrt{{\sum }_{i=1}^n(y_i{)}^2}}=\frac{X^T\cdot Y}{||X||\ast ||Y||}$$
余弦值越接近1，表明夹角越接近0，两个向量越相似。

如果，只有正反馈而没有具体值的情况，公式为：
$$w_{uv}=\frac{|N(u)\cap N(v)|}{|N(u)||N(v)|}$$

---

四、Tanimoto相似度

是Cosine相似度的扩展，广泛应用于计算文档数据的相似度。

$$T(x,y)=\frac{\vec{x}\cdot \vec{y}}{|x|\ast |y|}=\frac{{\sum }_{i=1}^n(x_i\ast y_i)}{\sqrt{{\sum }_{i=1}^n(x_i{)}^2}\sqrt{{\sum }_{i=1}^n(y_i{)}^2}-{\sum }_{i=0}^n{x}_i{y}_i}$$

---

四、Jaccard系数

两个特征向量A, B，如果其值都是0,1的二值数据，那么就有一个简单的判定相似性的方法，即Jaccard系数

M11表示A和B对应位都是1的属性的数量

M10表示A中为1，B中对应位为0的总数量

M01表示A中为0，B中对应位为1的总数量

M00表示对应位都为0的总数量

$$J(A,B)=\frac{|A\cap B|}{|A\cup B|}=\frac{M11}{M00+M01+M10+M11}$$