机器学习：聚类

本文主要内容摘自：周志华，《机器学习》，清华大学出版社。

1、聚类任务

  聚类试图将数据集中的样本划分为若干个通常是不相交的子集。形式化来说，假定样本集 D = { x 1 , x 2 , … , x m } { \mathcal D}=\{{\bf x}_1,{\bf x}_2,\ldots,{\bf x}_m\} D={x1​,x2​,…,xm​}包含$m$个无标记样本，每个样本${\mathbf{x}}_i=(x_{i1};x_{i2};\dots ,x_{in};)$是一个$n$维向量，则聚类算法将样本集$\mathcal{D}$划分为$k$个不相交的簇 { C l ∣ l = 1 , 2 , … , k } \{{ C}_l| l=1,2,\ldots,k\} {Cl​∣l=1,2,…,k}，其中$C_{l^{\prime }}{\cap }_{l^{\prime }≠l}{C}_l=\Phi$且$D={\cup }_{l=1}^k{C}_l$。相应地，我们用 λ j ∈ { 1 , 2 , … , k } \lambda_j\in \{1,2,\ldots,k\} λj​∈{1,2,…,k}表示样本${\mathbf{x}}_j$的簇标记(cluster label)，即${\mathbf{x}}_j\in C_{{\lambda }_j}$。于是，聚类的结果可用包含$m$个元素的簇标记向量$\mathbf{\lambda }=({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m)$来表示。
  下面先来讨论聚类算法涉及的两个基本问题–性能度量和距离计算。

2、性能度量

  直观来说，聚类算法应该是簇内相似度(intra-cluster similarity)高，且簇间相似度(inter-cluster similarity)低。
  聚类性能度量大致来说分为两类。第一类是将聚类结果与某个参考模型（reference model）进行比较，因而称为外部指标（external index）；另一类是直接考查聚类结果而不利用任何参考模型，称为内部指标（internal index）。

2.1 外部指标

  对数据集 D = { x i , x 2 , … , x m } D=\{{\bf x}_i, {\bf x}_2,\ldots,{\bf x}_m\} D={xi​,x2​,…,xm​}，假定经过聚类给出的簇划分为 C = { C 1 , C 2 , … , C k } {\mathcal C}=\{ C_1, C_2,\ldots,C_k\} C={C1​,C2​,…,Ck​}，参考模型给出的簇划分为 C ∗ = { C 1 ∗ , C 2 ∗ , … , C s ∗ } {\mathcal C}^*=\{C_1^*,C_2^*,\ldots,C_s^*\} C∗={C1∗​,C2∗​,…,Cs∗​}。相应地，令$\mathbf{\lambda }$和${\mathbf{\lambda }}^{\ast }$分别表示$\mathcal{C}$和${\mathcal{C}}^{\ast }$对应的簇标记向量。我们将样本两两配对考虑，定义
a = ∣ S S ∣ ， S S = { ( x i , x j ) ∣ λ i = λ j , λ i ∗ = λ j ∗ , i ≤ j } , b = ∣ S D ∣ ， S D = { ( x i , x j ) ∣ λ i = λ j , λ i ∗ = ̸ λ j ∗ , i ≤ j } , c = ∣ D S ∣ ， D S = { ( x i , x j ) ∣ λ i = ̸ λ j , λ i ∗ = λ j ∗ , i ≤ j } , d = ∣ D D ∣ ， D D = { ( x i , x j ) ∣ λ i = ̸ λ j , λ i ∗ = ̸ λ j ∗ , i ≤ j } , a=|{\mathcal SS}|，{\mathcal SS}=\{({\bf x}_i,{\bf x}_j)|\lambda_i=\lambda_j,\lambda_i^*=\lambda_j^*,i\le j\},\\ b=|{\mathcal SD}|，{\mathcal SD}=\{({\bf x}_i,{\bf x}_j)|\lambda_i=\lambda_j,\lambda_i^*=\not\lambda_j^*,i\le j\},\\ c=|{\mathcal DS}|，{\mathcal DS}=\{({\bf x}_i,{\bf x}_j)|\lambda_i=\not \lambda_j,\lambda_i^*=\lambda_j^*,i\le j\},\\ d=|{\mathcal DD}|，{\mathcal DD}=\{({\bf x}_i,{\bf x}_j)|\lambda_i=\not\lambda_j,\lambda_i^*=\not\lambda_j^*,i\le j\},\\ a=∣SS∣，SS={(xi​,xj​)∣λi​=λj​,λi∗​=λj∗​,i≤j},b=∣SD∣，SD={(xi​,xj​)∣λi​=λj​,λi∗​≠​λj∗​,i≤j},c=∣DS∣，DS={(xi​,xj​)∣λi​≠​λj​,λi∗​=λj∗​,i≤j},d=∣DD∣，DD={(xi​,xj​)∣λi​≠​λj​,λi∗​≠​λj∗​,i≤j},其中，集合$\mathcal{S}S$包含了在$\mathcal{C}$中隶属于相同簇，在${\mathcal{C}}^{\ast }$中也隶属于相同簇的样本对；集合$\mathcal{S}D$包含了在$\mathcal{C}$中隶属于相同簇，但在${\mathcal{C}}^{\ast }$中隶属于不同簇的样本对；集合$\mathcal{D}S$包含了在$\mathcal{C}$中隶属于不同簇，在${\mathcal{C}}^{\ast }$中隶属于相同簇的样本对；集合$\mathcal{D}D$包含了在$\mathcal{C}$中和${\mathcal{C}}^{\ast }$中都隶属于不同簇的样本对。由于每个样本对$({\mathbf{x}}_i,{\mathbf{x}}_j)(i\le j)$都只能出现在一个集合中，因此有$a+b+c+d=C_m^2=\frac{m(m-1)}{2}$。
  常用聚类性能度量外部指标包括：

• Jaccard系数（Jaccard Coefficient, JC)
  $$\mathrm{J}\mathrm{C}=\frac{a}{b+c+d}.$$
• FM指数（Fowlkes and Mallows Index, FM)
  $$\mathrm{F}\mathrm{M}\mathrm{I}=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
• Rand指数（Rand Index，RI）
  $$\mathrm{R}\mathrm{I}=\frac{2(a+d)}{m(m-1)}.$$
  显然，上述性能度量的结果都在[0,1]区间，值越大越好。

2.2 内部指标

  对于簇划分${\mathcal C}={C_1,C_2,\ldots,C_k}，定义
$$\begin{array}{rl}\mathrm{a}\mathrm{v}\mathrm{g}(\mathcal{C})& =\frac{2}{|\mathcal{C}|(|\mathcal{C}|-1)}\sum _{1\le i<j\le |\mathcal{C}|}\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}({\mathbf{x}}_i,{\mathbf{x}}_j),\\ \mathrm{d}\mathrm{i}\mathrm{a}\mathrm{m}(\mathcal{C})& =\underset{1\le i<j\le |\mathcal{C}|}{\max }\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}({\mathbf{x}}_i,{\mathbf{x}}_j),\\ d_{\min }({\mathcal{C}}_i,{\mathcal{C}}_j)& =\underset{{\mathbf{x}}_i\in {\mathcal{C}}_i,{\mathbf{x}}_j\in {\mathcal{C}}_j}{\min }\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}({\mathbf{x}}_i,{\mathbf{x}}_j),\\ d_{\mathrm{c}\mathrm{e}\mathrm{n}}({\mathcal{C}}_i,{\mathcal{C}}_j)& =\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}({\mathbf{\mu }}_i,{\mathbf{\mu }}_j),\end{array}$$其中，$\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}(\cdot ,\cdot )$用于计算两个样本之间的距离；$\mathbf{\mu }$代表簇$\mathcal{C}$的中心点$\mathbf{\mu }=\frac{1}{|\mathcal{C}|}{\sum }_{1\le i\le |\mathcal{C}|}{\mathbf{x}}_i$。显然,$\mathrm{a}\mathrm{v}\mathrm{g}(\mathcal{C})$对应于簇C内样本间的平均距离；$\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{m}(\mathcal{C})$对应于簇C内样本间的最远距离；$d_{\min }({\mathcal{C}}_i,{\mathcal{C}}_j)$对应于簇${\mathcal{C}}_i$与${\mathcal{C}}_j$最近样本间的距离$d_{\mathrm{c}\mathrm{e}\mathrm{n}}({\mathcal{C}}_i,{\mathcal{C}}_j)$对应于簇${\mathcal{C}}_i$与${\mathcal{C}}_j$中心点间的距离。
  常用聚类性能度量内部指标包括：

• DB指数（Davies-Bouldin Index, DBI）
  $$\mathrm{D}\mathrm{B}\mathrm{I}=\frac{1}{k}\sum _{i=1}^k\underset{j≠i}{\max }[\frac{\mathrm{a}\mathrm{v}\mathrm{g}({\mathcal{C}}_i)+\mathrm{a}\mathrm{v}\mathrm{g}({\mathcal{C}}_j)}{d_{\mathrm{c}\mathrm{e}\mathrm{n}}({\mathcal{C}}_i,{\mathcal{C}}_j)}].$$
• Dunn指数（Dunn Index, DI）
  D I = min ⁡ 1 ≤ i ≤ k { } {\rm DI}=\min_{1\le i\le k}{\Large \{} {\Large \}} DI=1≤i≤kmin​{}
  显然，DBI的值越小越好，而DI则相反，值越大越好。

3、距离计算