【数据】相似性和相异性的度量

我们在考虑数据的时候，常常会讨论数据间的相似性和相异性。我们使用术语邻近度来表示相似性和相异性。

【相异度】

我们定义两个对象之间的相异度是这两个对象差异程度的数值度量，我们通常所说的相异度其实就是距离。距离越小，相异度越低，则对象越相似。

【度量】

距离具有一些众所周知的性质(假设$D(x,y)$是点$x$和$y$的距离)
1.非负性　　对于所有$x$和$y$，$D(x,y)\ge0$，当且仅当$x=y$时$D(x,y)=0$
2.对称性　　对于所有$x$和$y$，$D(x,y)=D(y,x)$
3.三角不等式　对于所有$x$、$y$和$z$，$D(x,z)\le D(x,y)+D(y,z)$　
满足以上三条性质的测度，我们称之为度量。

【常用距离】

假设分别有两点$x_i=(x_{i1},x_{i2},...,x_{im})$，$y_j=(y_{j1},y_{j2},...,y_{jm})$

1.$Minkowski$距离，又称闵式距离

其定义为：
$D_{ij}=(|x_{i1}-y_{j1}|^p+|x_{i2}-y_{j2}|^p+...+|x_{im}-y_{jm}|^p)^{\frac{1}{p}}$
或者写成$D_{ij}=(\sum\limits_{k=1}^m|x_{ik}-y_{jk}|^p)^{\frac{1}{p}}$

①当$p=1$时，即曼哈顿距离
$D_{ij}=|x_{i1}-y_{j1}|+|x_{i2}-y_{j2}|+...+|x_{im}-y_{jm}|$
或者写成$D_{ij}=\sum\limits_{k=1}^m|x_{ik}-y_{jk}|$

②当$p=2$时，即欧几里得距离，又称欧氏距离
$D_{ij}=(|x_{i1}-y_{j1}|^2+|x_{i2}-y_{j2}|^2+...+|x_{im}-y_{jm}|^2)^{\frac{1}{2}}$
或者写成$D_{ij}=(\sum\limits_{k=1}^m|x_{ik}-y_{jk}|^2)^{\frac{1}{2}}$

③当$p\to \infty$时，即切比雪夫距离
$D_{ij}=\max(|x_{i1}-y_{j1}|,|x_{i2}-y_{j2}|,...,|x_{im}-y_{jm}|)$
或者写成$D_{ij}=\lim\limits_{p\to \infty}(\sum\limits_{k=1}^m|x_{ik}-y_{jk}|^p)^{\frac{1}{p}}$

范数在定义上比距离多了一条数乘的运算法则，不过我们还是可以将范数当做距离来理解。

范数$L_p$对应着$Minkowski$距离，它表示为x向量各个元素绝对值p次方和的1/p次方，即$L_p=(\sum\limits_{k=1}^m|x_i^{(k)}-y_j^{(k)}|^p)^{\frac{1}{p}}$
$L_1$范数对应着曼哈顿距离，$L_2$范数对应着欧氏距离，$L_\infty$范数对应着切比雪夫距离

2.$Mahalanobis$距离，又称马式距离

这个距离用于表示数据的协方差距离，它是一种有效的计算两个未知样本集的相似度的方法，与欧式距离不同的是它考虑到各种特性之间的联系，并且是尺度无关的(独立于测量尺度)
　　　　　　$D(x_i,x_j)=\sqrt{(x_i-x_j)^TS^{-1}(x_i-x_j)}$
　　　协方差矩阵记为$S$，若$S$为单位矩阵，则变为欧氏距离

3.$Hamming$距离，又称汉明距离

它是指两个等长字符串中对应位置的不同字符的个数。
如”010010111”和”011110111”的汉明距离为2；”batch”和”catch”的汉明距离为1。

【非度量的相异度】

有些相异度不满足一个或多个度量性质，如集合差、时间等。

集合差

若$A=${$1,2,3,4$}而$B=${$2,3,4$}，定义集合$A$和集合$B$之间的距离为$A-B$后集合元素的个数，那么这样的距离虽然符合性质1(距离测度大于等于0)，但却不符合性质2和3。

时间

定义时间之间的距离测度为：
$f(n) =\begin{cases}t_2-t_1, & t_1\le t_2 \\[2ex]24+(t_2-t_1), & t_1\ge t_2\end{cases}$
那么$D(1PM,2PM)=1\neq D(2PM,1PM)=23$，不满足性质2。

【相似度】

对于相似度，性质3三角不等式往往不成立，但是性质1和2通常成立。相似度具有以下性质(假设$s(x,y)$是数据点$x$和$y$之间的相似度)：
1.仅当$x=y$时$s(x,y)=1$，$(0\le s\le 1)$
2.对于所有$x$和$y$，$s(x,y)=s(y,x)$

【二元数据的相似性度量】

两个仅包含二元属性的对象之间的相似性度量，设$x$和$y$是两个对象，都由m个二元属性组成，这样的两个对象(即两个二元向量)的比较可生成如下四个量(频率)：
$f_{00}=x$取0，$y$取0的属性的个数
$f_{01}=x$取0，$y$取1的属性的个数
$f_{10}=x$取1，$y$取0的属性的个数
$f_{11}=x$取1，$y$取1的属性的个数

简单匹配系数(SMC)

$SMC=\frac{\text{值匹配的属性个数}}{\text{属性个数}}=\frac{f_{11}+f_{00}}{f_{01}+f_{10}+f_{11}+f_{00}}$

$Jaccard$系数

$J=\frac{\text{匹配的个数}}{\text{不涉及0-0匹配的属性个数}}=\frac{f_{11}}{f_{01}+f_{10}+f_{11}}$

【广义$Jaccard$系数】

又称$Tanimoto$系数，用$EJ$表示，可以用于文档数据，并在二元属性情况下规约为$Jaccard$系数。
$EJ(x,y)=\frac{x·y}{||x||^2+||y||^2-x·y}$

【余弦相似度】

文档相似性最常用的度量，若$x$和$y$是两个文档向量
$cos(x,y)=\frac{x·y}{||x|| ||y||}=\frac{\sum\limits_{k=1}^mx_ky_k}{\sqrt{\sum\limits_{k=1}^mx_k^2}\sqrt{\sum\limits_{k=1}^my_k^2}}$

【相关性】

两个具有二元变量或连续变量的数据对象之间的相关性是对象属性之间线性联系的度量。更准确地，两个数据对象$x$和$y$之间的皮尔森相关系数定义如下：
$corr(x,y)=\frac{covariance(x,y)}{standard-deviation(x)\times standard-deviation(y)}=\frac{S_{xy}}{S_xS_y}$
$x$与$y$之间的协方差：
$covariance(x,y)=S_{xy}=\frac{1}{m-1}\sum\limits_{k=1}^m(x_k-\bar x)(y_k-\bar y)$
$x$的标准差：
$standard-deviation(x)=S_x=\sqrt{\frac{1}{m-1}\sum\limits_{k=1}^m(x_k-\bar x)^2}$
$x$的均值：
$\bar x=\frac{1}{m}\sum\limits_{k=1}^mx_k$

$y$的标准差：
$standard-deviation(y)=S_y=\sqrt{\frac{1}{m-1}\sum\limits_{k=1}^m(y_k-\bar y)^2}$
$y$的均值：
$\bar y=\frac{1}{m}\sum\limits_{k=1}^my_k$

参考文献《数据挖掘导论》