聚类算法的两个基本问题----性能度量+距离计算

性能度量

1、性能度量的用处

• 通过某种性能度量来评估聚类结果的好坏；
• 可作为聚类过程的优化目标，从而找到更符合要求的聚类结果。

2、性能度量的种类

• 外部指标：将聚类结果与某个“参考模型”进行比较；
• 内部指标：直接考察聚类结果而不利用任何模型作参考

3、性能度量的计算

• 外部指标：
  假设聚类给出的结果为$\lambda$，参考模型给出的结果是${\lambda }^{\ast }$，将样本进行两两配对，样本量为m，定义：
  $$\begin{array}{rl}& a=|SS|,SS=\left\{\left(x_i,x_j\right)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\right)\}\\ & b=|SD|,SD=\left\{\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\right)\}\\ & c=|DS|,DS=\left\{\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\right)\}\\ & d=|DD|,DD=\left\{\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)|{\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\right)\}\end{array}$$
  a：聚类结果同类簇，参考结果同类簇；
  b：聚类结果同类簇，参考结果不同类簇；
  c：聚类结果不同类簇，参考结果同类簇；
  d：聚类结果不同类簇，参考结果不同类簇。
  则a+b+c+d=m(m-1)/2成立。

  • Jaccard系数（JC）：
    $$\mathrm{J}\mathrm{C}=\frac{a}{a+b+c}$$
  • FM指数（FMI）：
    $$\mathrm{F}\mathrm{M}\mathrm{I}=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
  • Rand指数（RI）：
    $$\mathrm{R}\mathrm{I}=\frac{2(a+d)}{m(m-1)}$$
    上述性能度量的结果均在[0,1]之间，且值越大越好。

• 内部度量
  定义如下公式：
  $\mathrm{avg}(C)=\frac{2}{|C|(|C|-1)}{\sum }_{1⩽i<j⩽|C|}\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，表示簇内样本的平均距离，越小越好；
  $\mathrm{diam}(C)={\max }_{1⩽i<j⩽|C|}\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，表示簇内样本的最远距离，越小越好；
  $d_{\min }\left(C_i,C_j\right)={\min }_{{\mathbf{x}}_i\in C_i,{\mathbf{x}}_j\in C_j}\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，表示簇间最小距离，越大越好。
  $d_{\mathrm{c}\mathrm{e}\mathrm{n}}\left(C_i,C_j\right)=\mathrm{dist}\left({\mathbf{\mu }}_i,{\mathbf{\mu }}_j\right)$，表示簇中心距离，越大越好。

  • DB指数（DBI）
    $$\mathrm{D}\mathrm{B}\mathrm{I}=\frac{1}{k}\sum _{i=1}^k\underset{j\ne i}{\max }\left(\frac{\mathrm{avg}\left(C_i\right)+\mathrm{avg}\left(C_j\right)}{d_{\mathrm{cen}}\left({\mu }_i,{\mu }_j\right)}\right)$$
    DBI越小越好，分子越小越好，分母越大越好。
  • Dunn指数（DI）
    $$\mathrm{D}\mathrm{I}=\underset{1⩽i⩽k}{\min }\left\{\underset{j\ne i}{\min }\left(\frac{d_{\min }\left(C_i,C_j\right)}{{\max }_{1⩽l⩽k}\mathrm{diam}\left(C_l\right)}\right)\right\}$$
    DI越大越好，分子越大越好，分母越小越好。

距离计算

1、距离度量的性质

• 非负性：距离大于等于0
• 同一性：同一样本之间距离为0
• 对称性：A和B的距离等于B和A的距离
• 直递性：$\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)⩽\mathrm{dist}\left({\mathbf{x}}_i,{\mathbf{x}}_k\right)+\mathrm{dist}\left({\mathbf{x}}_k,{\mathbf{x}}_j\right)$

2、距离的定义

• 有序属性
  1） 闵可夫斯基距离
  $${\mathrm{dist}}_{\mathrm{mk}}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left(\sum _{u=1}^n{\left|x_{iu}-x_{ju}\right|}^p\right)}^{\frac{1}{p}}$$
  其显然满足以上4个性质。
  2） p=2时，欧氏距离
  $${\mathrm{dist}}_{\mathrm{e}\mathrm{d}}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }_2=\sqrt{\sum _{u=1}^n{\left|x_{iu}-x_{ju}\right|}^2}$$
  3）p=1时，曼哈顿距离
  $${\mathrm{dist}}_{\mathrm{man}}\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\Vert {\mathbf{x}}_i-{\mathbf{x}}_j\Vert }_1=\sum _{u=1}^n\left|x_{iu}-x_{ju}\right|$$
  曼哈顿距离和欧氏距离是闵可夫斯基距离的特例。
• 无序属性
  VDM：
  $${\mathrm{VDM}}_p(a,b)=\sum _{i=1}^k{\left|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}\right|}^p$$
• 混合属性
  闵可夫斯基距离与VDM结合即可处理。
  $${\mathrm{MinkovDM}}_p\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)={\left(\left(\sum _{u=1}^{n_e}{\left|x_{iu}-x_{ju}\right|}^p\right)+\left(\sum _{u=n_c+1}^n{\mathrm{VDM}}_p\left(x_{iu},x_{ju}\right)\right)\right)}^{\frac{1}{p}}$$
• 属性重要程度不同
  可使用加权距离，以加权闵可夫斯基距离为例：
  $${\mathrm{dist}}_{wmk}\left(x_i,x_j\right)={\left(w_1\cdot {\left|x_{i1}-x_{j1}\right|}^p+\dots +w_n\cdot {\left|x_{in}-x_{jn}\right|}^p\right)}^{\frac{1}{p}}$$
  w为权重。

  以上距离计算公式都是事先定义好的，现实中存在很多有必要基于数据样本确定合适的距离计算式，则可通过“距离度量学习”来实现。

3、非度量距离
  用于相似度度量的距离未必一定满足距离度量的所有基本性质，尤其是直递性，这样的距离称为非度量距离。