聚类性能度量指标及距离计算

Python实现KMeans算法

1.外部指标

将聚类结果与某个“参考模型进行比较”

每次抽出两个样本，讨论所属聚类结果和参考模型，确定四个值：

• a:聚类结果同属于一类，参考模型同属于一类
• b:聚类结果同属于一类，参考模型不同属于一类
• c:聚类结果不同属于一类，参考模型属于同一类
• d:聚类结果不同属于一类，参考模型不同属于一类

1.1Jaccard系数（JC）

$$JC=\frac{a}{a+b+c}$$

1.2FM指数（FMI）

$$FMI=\sqrt{\frac{a}{a+b}\ast \frac{a}{a+c}}$$

1.3Rand指数（RI）

$$RI=\frac{2(a+d)}{m(m-1)}$$
上述性能度量的结果值均在[0,1]区间，值越大越好。

2.内部指标

直接考察聚类结果而不利用任何参考模型

将聚类结果的簇划分为 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={C1​,C2​,...,Ck​},也就是总共划分为k个簇
$$avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1\le i<j\le |C|}dist(x_i,x_j)$$

• $avg(C)$：对应于簇C内样本间的平均距离
  $$diam(C)=ma{x}_{1\le i<j\le |C|}dist(x_i,x_j)$$
• $diam(C)$：对应于簇C内样本间的最远距离
  $$d_{min}(C_i,C_j)=mi{n}_{x_i\in C_i,x_j\in C_j}dist(x_i,x_j)$$
• $d_{min}(C_i,C_j)$：对应于簇$C_i$与簇$C_j$最近样本间的距离
  $$d_{cen}(C_i,C_j)=dist(u_i,u_j)$$
• $d_{cen}(C_i,C_j)$：对应于簇$C_i$与簇$C_j$中心点间的距离

2.1DB指数（DBI）

$$DBI=\frac{1}{k}\sum _{i=1}^{k}ma{x}_{j\ne i}(\frac{avg(C_i)+avg(C_j)}{d_{cen}(C_i,C_j)})$$

2.2Dunn指数（DI）

D I = m i n 1 ≤ i ≤ k { m i n j ≠ i ( d m i n ( C i , C j ) m a x 1 ≤ l ≤ k d i a m ( C l ) ) ) } DI=min_{1\leq i\leq k}\{min_{j\ne i}(\frac{d_{min}(C_i,C_j)}{max_{1\le l\le k}diam(C_l))})\} DI=min1≤i≤k​{minj​=i​(max1≤l≤k​diam(Cl​))dmin​(Ci​,Cj​)​)}
DBI的值越小越好，DI值越大越好.

3距离计算

dist(,)若它是一个“距离度量”，则需要满足一些基本性质：

• 非负性：$dist(x_i,x_j)\ge 0$
• 同一性：$dist(x_i,x_j)=0$当且仅当$x_i=x_j$
• 对称性：$dist(x_i,x_j)=dist(x_j,x_i)$
• 直递性：$dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)$

给定样本$x_i=(x_{i1};x_{i2};...;x_{in})$与$x_j=(x_{j1};x_{j2};...;x_{jn})$,最常用的是"闵可夫斯基距离"(Minkokski distance)
$$dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{ju}|{)}^{\frac{1}{p}}$$
$p\ge 1$时，满足上述的距离基本性质

当$p=2$时，闵可夫斯基距离就是我们熟知的欧式距离(Euclidean distance)
$$dis{t}_{ed}(x_i,x_j)=||x_i-x_j|{|}_2=\sqrt{\sum _{u=1}^n|x_{iu}-x_{ju}{|}^2}$$
当$p=1$时,闵可夫斯基距离为曼哈顿距离(Manhattan distance)
$$dis{t}_{man}(x_i,x_j)=||x_i-x_j|{|}_1=\sum _{u=1}^n|x_{iu}-x_{ju}|$$