【机器学习基础】第三十三课：聚类之性能度量

【机器学习基础】系列博客为参考周志华老师的《机器学习》一书，自己所做的读书笔记。

1.性能度量

聚类性能度量亦称聚类“有效性指标”（validity index），对聚类结果，我们需通过某种性能度量来评估其好坏；另一方面，若明确了最终将要使用的性能度量，则可直接将其作为聚类过程的优化目标，从而更好地得到符合要求的聚类结果。

聚类是将样本集$D$划分为若干互不相交的子集，即样本簇。那么，什么样的聚类结果比较好呢？直观上看，我们希望“物以类聚”，即同一簇的样本尽可能彼此相似，不同簇的样本尽可能不同。换言之，聚类结果的“簇内相似度”（intra-cluster similarity）高且“簇间相似度”（inter-cluster similarity）低。

聚类性能度量大致有两类。一类是将聚类结果与某个“参考模型”（reference model，例如将领域专家给出的划分结果作为参考模型）进行比较，称为“外部指标”（external index）；另一类是直接考察聚类结果而不利用任何参考模型，称为“内部指标”（internal index）。

对数据集 D = { x 1 , x 2 , . . . , x m } D=\{ \mathbf{x}_1 , \mathbf{x}_2 , ... , \mathbf{x}_m \} D={x1​,x2​,...,xm​}，假定通过聚类给出的簇划分为 C = { C 1 , C 2 , . . . , C k } \mathcal{C}=\{C_1,C_2,...,C_k \} C={C1​,C2​,...,Ck​}，参考模型给出的簇划分为 C ∗ = { C 1 ∗ , C 2 ∗ , . . . , C s ∗ } \mathcal{C}^*=\{C_1^*,C_2^*,...,C_s^* \} C∗={C1∗​,C2∗​,...,Cs∗​}。相应地，令$\lambda$与${\lambda }^{\ast }$分别表示与$\mathcal{C}$和${\mathcal{C}}^{\ast }$对应的簇标记向量。我们将样本两两配对考虑，定义：

通常$k\ne s$。

$$a=|SS|,SS=\{({\mathbf{x}}_i,{\mathbf{x}}_j)\mid {\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(1)}$$

$$b=|SD|,SD=\{({\mathbf{x}}_i,{\mathbf{x}}_j)\mid {\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(2)}$$

$$c=|DS|,DS=\{({\mathbf{x}}_i,{\mathbf{x}}_j)\mid {\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(3)}$$

$$d=|DD|,DD=\{({\mathbf{x}}_i,{\mathbf{x}}_j)\mid {\lambda }_i\ne {\lambda }_j,{\lambda }_i^{\ast }\ne {\lambda }_j^{\ast },i<j\}\text{\hspace{1em}(4)}$$

${\lambda }_i$表示样本${\mathbf{x}}_i$在$\mathcal{C}$中所属的簇。${\lambda }_i^{\ast }$表示样本${\mathbf{x}}_i$在${\mathcal{C}}^{\ast }$中所属的簇。

其中集合$SS$包含了在$\mathcal{C}$中隶属于相同簇且在${\mathcal{C}}^{\ast }$中也隶属于相同簇的样本对，集合$SD$包含了在$\mathcal{C}$中隶属于相同簇但在${\mathcal{C}}^{\ast }$中隶属于不同簇的样本对。由于每个样本对$({\mathbf{x}}_i,{\mathbf{x}}_j)(i<j)$仅能出现在一个集合中，因此有$a+b+c+d=m(m-1)/2$成立。

基于式(1)~式(4)可导出下面这些常用的聚类性能度量外部指标：

👉Jaccard系数（Jaccard Coefficient，简称JC）：

$$JC=\frac{a}{a+b+c}\text{\hspace{1em}(5)}$$

👉FM指数（Fowlkes and Mallows Index，简称FMI）：

$$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}\text{\hspace{1em}(6)}$$

👉Rand指数（Rand Index，简称RI）：

$$RI=\frac{2(a+d)}{m(m-1)}\text{\hspace{1em}(7)}$$

显然，上述性能度量的结果值均为$[0,1]$区间，值越大越好。

考虑聚类结果的簇划分 C = { C 1 , C 2 , . . . , C k } \mathcal{C}=\{C_1,C_2,...,C_k \} C={C1​,C2​,...,Ck​}，定义：

$$avg(C)=\frac{2}{|C|(|C|-1)}\sum _{1⩽i<j⩽|C|}dist({\mathbf{x}}_i,{\mathbf{x}}_j)\text{\hspace{1em}(8)}$$

$$diam(C)=\underset{1⩽i<j⩽|C|}{\max }dist({\mathbf{x}}_i,{\mathbf{x}}_j)\text{\hspace{1em}(9)}$$

$$d_{min}(C_i,C_j)=\underset{{\mathbf{x}}_i\in C_i,{\mathbf{x}}_j\in C_j}{\min }dist({\mathbf{x}}_i,{\mathbf{x}}_j)\text{\hspace{1em}(10)}$$

$$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)\text{\hspace{1em}(11)}$$

其中，$dist(\cdot ,\cdot )$用于计算两个样本之间的距离（距离越大则样本的相似度越低）；$\mu$代表簇$C$的中心点$\mu =\frac{1}{|C|}{\sum }_{1⩽i⩽|C|}{\mathbf{x}}_i$。显然，$avg(C)$对应于簇$C$内样本间的平均距离，$diam(C)$对应于簇$C$内样本间的最远距离，$d_{min}(C_i,C_j)$对应于簇$C_i$与簇$C_j$最近样本间的距离，$d_{cen}(C_i,C_j)$对应于簇$C_i$与簇$C_j$中心点间的距离。

基于式(8)~(11)可导出下面这些常用的聚类性能度量内部指标：

👉DB指数（Davies-Bouldin Index，简称DBI）：

$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j\ne i}{\max }(\frac{avg(C_i)+avg(C_j)}{d_{cen}({\mu }_i,{\mu }_j)})\text{\hspace{1em}(12)}$$

👉Dunn指数（Dunn Index，简称DI）：

D I = min ⁡ 1 ⩽ i ⩽ k { min ⁡ j ≠ i ( d m i n ( C i , C j ) max ⁡ 1 ⩽ l ⩽ k d i a m ( C l ) ) } (13) DI=\min_{1 \leqslant i \leqslant k} \{ \min_{j\neq i} (\frac{d_{min} (C_i,C_j)}{\max_{1\leqslant l \leqslant k} diam(C_l)}) \} \tag{13} DI=1⩽i⩽kmin​{j=imin​(max1⩽l⩽k​diam(Cl​)dmin​(Ci​,Cj​)​)}(13)

显然，DBI的值越小越好，而DI则相反，值越大越好。

---

想要获取最新文章推送或者私聊谈人生，请关注我的个人微信公众号：⬇️x-jeff的AI工坊⬇️

个人博客网站：https://shichaoxin.com

GitHub：https://github.com/x-jeff

---