数学基础-距离公式、相似度公式、聚类算法衡量指标

1、距离公式

1.1、闵可夫斯基距离（Minkowski）

$dist(X,Y)=p\sqrt{\sum _{i=1}^n|x_i-y_i{|}^p}$

1.2、曼哈顿距离（Manhattan）

当闵可夫斯基距离$p=1$时
$M\_dist=\sum _{i=1}^n|x_i-y_i|$

1.3、欧氏距离（Euclidean）

当闵可夫斯基距离$p=2$时
$E\_dist=\sqrt{\sum _{i=1}^n(x_i-y_i{)}^2}$

标准化欧氏距离
$X^{\ast }=\frac{X-\bar{X}}{s}$

$s=\sqrt{\frac{\sum _{i=1}^n(s_i-\bar{s}{)}^2}{n}}$

$S\_E\_D=\sqrt{\sum _{i=1}^n(\frac{x_i-y_i}{s_i}{)}^2)}$

1.4、切比雪夫距离（Chebyshev）

当闵可夫斯基距离$p=\infty$时
$c\_dist=\genfrac{}{}{0ex}{}{\mathbf{m}\mathbf{a}\mathbf{x}}{i}(|x_i-y_i|)$

2、相似度公式

2.1、夹角余弦相似度

$cos(\theta )=\frac{\sum _{k=1}^n{x}_{1k}{x}_{2k}}{\sqrt{\sum _{k=1}^n{x}_{1k}^2}\ast \sqrt{\sum _{k=1}^n{x}_{2k}^2}}=\frac{a^T\cdot b}{|a||b|}$

2.2、KL距离（相对熵）

$D(P||Q)=\sum _{x}P(x)log(\frac{P(x)}{Q(x)})$

2.3、杰卡德相似系数（Jaccard）

$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$

$dist(A,B)=1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}$

2.4、皮尔逊相关系数（Pearson）

${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{\sum _{i=1}^n(X_i-{\mu }_X)(Y_i-{\mu }_Y)}{\sqrt{\sum _{i=1}^n(X_i-{\mu }_X{)}^2}\ast \sqrt{\sum _{i=1}^n(Y_i-{\mu }_Y{)}^2}}$

$dist(X,Y)=1-{\rho }_{XY}$

3、聚类算法衡量指标

3.1、均一性

一个簇中只包含一个类别的样本，则满足均一性
也可以认为就是正确率(每个聚簇中正确分类的样本数占该聚簇总样本数的比例和)
$p=\frac{1}{k}\sum _{i=1}^k\frac{N(C_i==K_i)}{N(K_i)}$

3.2、完整性

同类别样本被归类到相同簇中，则满足完整性
每个聚簇中正确分类的样本数占该类型的总样本数比例的和
$p=\frac{1}{k}\sum _{i=1}^k\frac{N(C_i==K_i)}{N(C_i)}$

3.3、V_measure

均一性和完整性的加权平均
$V_{\beta }=\frac{(1+{\beta }^2)\cdot pr}{{\beta }^2\cdot p+R}$

3.4、轮廓系数

簇内不相似度
$a_i$：样本$i$到簇内其他样本的平均距离
$a_i$越小样本$i$越应该被聚类到该簇

簇间不相似度
$b_{ij}：$样本$i$到其他簇所有样本的平均距离
b i = m i n { b i 1 , b i 2 , … , b i k } b_i=min\{b_{i1},b_{i2},\dots,b_{ik}\} bi​=min{bi1​,bi2​,…,bik​}
$b_i$越大样本$i$越不属于其它簇

轮廓系数
s i = b i − a i m a x { a i , b i } s_i=\frac{b_i-a_i}{max\{a_i,b_i\}} si​=max{ai​,bi​}bi​−ai​​

$s_i$值越接近$1$表示样本$i$聚类越合理
越接近$-1$表示样本$i$应该分类到另外的簇中
近似为$0$，表示样本$i$应该在边界上
所有样本的$s_i$的均值被成为聚类结果的轮廓系数