聚类及相关算法一（性能度量）

聚类任务

寻找数据的内在分布。

性能度量

亦称“有效性指标”，由此来评估聚类模型的好坏，并将其作为聚类过程的优化目标。

聚类要求：簇内相似度高且簇间相似度低。

两类度量指标：
外部指标：将聚类结果与某个“参考模型”进行比较
内部指标：直接考察聚类结果不利用任何参考模型

对数据集$D={x_1,x_2,...,x_m}$，假定通过聚类给出的簇划分为$C=\{C_1,C_2,...,C_k\}$，参考模型给出簇划分为$C^*=\{C_1^*,C_2^*,...,C_s^*\}$，相应的，令$\lambda与\lambda^*$分别表示与C和$C^*$对应的簇标记向量。有如下定义：

$$a=|SS|,~SS=\{(x_i,x_j)|\lambda_i=\lambda_j,\lambda _i^*=\lambda_j^*,i<j)\}\\b=|SD|,~SD=\{(x_i,x_j)|\lambda_i=\lambda_j,\lambda _i^*\neq \lambda_j^*,i<j)\}\\c=|DS|,~DS=\{(x_i,x_j)|\lambda_i\neq \lambda_j,\lambda _i^*=\lambda_j^*,i<j)\}\\a=|DD|,~DD=\{(x_i,x_j)|\lambda_i\neq \lambda_j,\lambda _i^*\neq \lambda_j^*,i<j)\}\\$$ 其中集合SS中表示两个数据样本在C中属于相同簇，也同时在 $C^*$中属于相同簇，以此类推。

基于以上定义可以导出下面常用的聚类性能度量外部指标：

+Jaccard系数：$JC=\frac{a}{a+b+c}$

+FM指数： $FMI=\sqrt{\frac{a}{a+b}·\frac{a}{a+c}}$

+Rand 指数：$RI=\frac{2(a+d)}{m(m-1)}$

上述结果均在[0,1]区间，值越大越好。

---

对于聚类结果的簇划分$C={C_1,C_2,...,C_k},$定义：

$$avg(C)=\frac{2}{|C|(|C|-1)} \sum_{1\le i \lt j \le |C|} dist(x_i,x_j)--簇内平均距离 \\diam(C)=max_{1\le i \lt j \le |C|} dist(x_i,x_j)--簇内最远距离\\ d_{min}(C_i,C_j)=min_{x_i \in C_i,x_j \in C_j }dist(x_i,x_j)--簇间最近距离 \\d_{cen}(C_i,C_j)=dist(\mu_i,\mu_j)--簇间的中心距离$$

基于以上定义，我们列出以下聚类性能度量内部指标：

+DB指数：$DBI=\frac{1}{k}\sum_{i=1}^{k} max_{j \neq i}(\frac{avg(C_i)+avg(C_j)}{d_{cen} ~(\mu_i,\mu_j)})--簇内平均距离越小越好$

+Dunn指数：$DI=min_{1 \le i \le k} \{min_{j \neq i}(\frac{d_{min}(C_i,C_j)}{max_{1 \le l \le k}~~ diam(C_l)}) \}--簇间最近距离越大越好$

距离计算

对函数dist(·），若他是一个距离度量，则需要满足如下基本性质：

$$非负性：dist(x_i,x_j) \ge 0;\\同一性：dist(x_i,x_j)=0当且仅当x_i=x_j\\对称性：dist(x_i,x_j)=dist(x_j,x_i);\\直递性：dist(x_i,x_j) \le dist(x_i,x_k)+dist(x_k,x_j)$$

给定样本：$x_i=(x_{i1};x_{i2};...,x_{in})与x_j=(x_{j1};x_{j2};...,x_{jn})$,定义以下公式：
1.有序属性：

+“闵可夫斯基距离”： $dist_{mk}(x_i,x_j)=(\sum_{u=1}^n |x_{iu}-x_{ju}|^p)^{\frac{1}{p}}$

+欧氏距离：p=2

+哈曼顿距离：p=1

2.无序属性：

VDM距离：$VDM_p(a,b)=\sum_{i=1}^k|\frac{m_{u,a,i}}{m_{u,a}}-\frac{m_{u,b,i}}{m_{u,b}}|^p$,其中$m_{u,a}$表示在属性u上取值为a的样本数，

$m_{u,a,i}表示在第i个样本簇中在属性u上取值为a的样本数，k为样本簇数$

3.混合属性：

将闵可夫斯基距离与VDM距离混合：

$MinkovDM_p(x_i,x_j)=(\sum_{u=1}^{n_c} |x_{iu}-x_{ju}|^p+\sum_{u=n_c+1}^n VDM_p(x_{iu},x_{ju}))^{\frac{1}{p}}$

4.依据属性的重要性的加权距离（以闵可夫斯基距离为例）：

$dist_{wmk}(x_i,x_j)=(w_1·|x_{i1}-x_{j1}|^p+...+w_n·|x_{in}-x_{jn}|^p)^{\frac{1}{p}}$