第十四章 聚类方法

引入

聚类是针对给定样本，依据它们特征的相似度或距离，将其归并到若干个“类”或“簇”的数据分析问题。

样本之间的相似度或距离起着重要的作用。

聚类的目的是通过得到的类或簇来发现数据的特点或对数据进行处理。

本章主要介绍两种最常用的聚类方法：1. 层次聚类；2. k均值聚类。

层次聚类又有聚合（自下而上）和分裂（自上而下）两种方法：

1. 聚合法开始将每个样本各自分到一个类；之后将距离最近的两类合并，建立一个新的类，重复此操作直到满足停止条件；得到层次化的类别。
2. 分裂法开始将所有样本分到一个类；之后将已有类中相距最远的样本分到两个新的类，重复此操作直到满足停止条件；得到层次化的类别。

k均值聚类是基于中心的聚类方法，通过迭代，将样本分到$k$个类中，使得每个样本与其所属类的中心或均值最近；得到$k$个“平坦的”、非层次化的类别，构成对空间的划分。

聚类的基本概念

相似度或距离

聚类的对象是观测数据，或样本集合。假设有$n$个样本，每个样本由$m$个属性的特征向量组成。样本集合可以用矩阵$X$表示：$$X=[x_{ij}{]}_{m\times n}=[\begin{array}{rlrlr}& x_{11}& x_{12}& ...& x_{1n}\\ & ...& ...& ...& ...\\ & x_{m1}& x_{m2}& ...& x_{mn}\end{array}]$$

聚类的核心概念是相似度或距离。相似度直接影响聚类的结果，所以其选择是聚类的根本问题。

闵可夫斯基距离

定义14.1 给定样本集合$X$，$X$是$m$维实数向量空间$R^m$中点的集合，其中$x_i,x_j\in X,x_i=(x_{1i},x_{2i},...,x_{mi}{)}^T,x_j=(x_{1j},x_{2j},...,x_{mj}{)}^T$，样本$x_i$与样本$x_j$的闵可夫斯基距离定义为$$d_{ij}=(\sum _{k=1}^m|x_{ki}-x_{kj}{|}^p{)}^{\frac{1}{p}}$$
当$p=2$时称为欧式距离，当$p=1$时称为曼哈顿距离，当$p=\infty$时称为切比雪夫距离，取各个坐标数值差的绝对值的最大值，即$d_{ij}={\max }_k|x_{k_i}-x_{kj}|$。

马哈诺比斯距离

简称马氏距离。考虑各个分量（特征）之间的相关性并与各个分量的尺度无关。马哈拉诺比斯距离越大相似度越小。

定义14.2给定一个样本集合$X$，$X=[x_{ij}{]}_{m\times n}$，其协方差矩阵记作$S$，样本$x_i$与样本$x_j$之间的马哈拉诺比斯距离里$d_{ij}$定义为$$d_{ij}=[(x_i-x_j{)}^T{S}^{-1}(x_i-x_j){]}^{\frac{1}{2}}$$

当S为单位矩阵时，即样本数据各个分量相互独立且各个分量的方差为1时，马氏距离就是欧式距离。

相关系数

样本之间的相似度也可以用相关系数来表示。相关系数的绝对值越接近于1，表示样本越相似。

定义14.3样本$x_i$与样本$x_j$之间的相关系数定义为：$$r_{ij}=\frac{{\sum }_{k=1}^m(x_{ki}-{\bar{x}}_i)(x_{kj}-{\bar{x}}_j)}{[{\sum }_{k-1}^m(x_{kj}-{\bar{x}}_i{)}^2{\sum }_{k=1}^m(x_{kj}-{\bar{x}}_j{)}^2{]}^{\frac{1}{2}}}$$

这里，把特征值视为了一个随机变量，其一共有$m$个取值。

夹角余弦

夹角余弦越接近1，表示样本越相似。

定义14.4样本$x_i$与$x_j$之间的夹角余弦定义为$$s_{ij}=\frac{x_i\cdot x_j}{[{\sum }_{k=1}^m{x}_{ki}^2{\sum }_{k=1}^m{x}_{kj}^2{]}^{\frac{1}{2}}}$$

类或簇

通过聚类得到的类或簇，本质是样本的子集。

用$G$表示类或簇，用$x_i,x_j$表示类中的样本，用$n_G$表示$G$中样本的个数，用$d_{ij}$表示两个样本之间的距离。

类或簇的定义

定义14.5 设$T$为给定的正数，若集合$G$中任意两个样本$x_i,x_j$，有$$d_{ij}\le T$$则称$G$为一个类或簇。

定义14.6 设$T$为给定的正数，若对集合$G$的任意样本$x_i$，一定存在$G$中的另一个样本$x_j$使得$$d_{ij}\le T$$
称$G$为一个类或簇。

定义14.7 设$T$为给定的正数，若对集合$G$的任意样本$x_i$，$G$中的另一个样本$x_j$满足$$\frac{1}{n_G-1}\sum _{x_j\in G}{d}_{ij}\le T$$
称$G$为一个类或簇，其中$n_G$为G中样本的个数。

定义14.8 设$T$和$V$为给定的两个正数，若集合$G$中任意两个样本$x_i,x_j$的距离满足有$$\frac{1}{n_G(n_G-1)}\sum _{x_i\in G}\sum _{x_j\in G}{d}_{ij}\le T,d_{ij}\le V$$则称$G$为一个类或簇。

以上四个定义中，第一个定义最为常用，并由他可推出其余三个定义。

类的特征

1. 类的均值$${\bar{x}}_G=\frac{1}{n_G}\sum _{i=1}^{n_G}{x}_i$$
2. 类的直径$$D_G=\underset{x_i,x_j\in G}{\max }{d}_{ij}$$
3. 类的样本散布矩阵$$A_G=\sum _{i=1}^{n_G}(x_i-{\bar{x}}_G)(x_i-{\bar{x}}_G{)}^T$$
4. 类的协方差矩阵$$S_G=\frac{1}{n_G-1}{A}_G$$

第三个就是

类与类之间的距离

考虑$G_p$与$G_q$之间的距离$D(p,q)$，也称为连接。类与类之间的距离也有多种定理。

1. 最短距离或单连接：定义类$G_p$的样本与$G_q$的样本之间的最短距离为两类之间的距离 D p q = min ⁡ { d i j ∣ x i ∈ G p , x j ∈ G q } D_{pq}=\min\{d_{ij}|x_i\in G_p,x_j\in G_q\} Dpq​=min{dij​∣xi​∈Gp​,xj​∈Gq​}
2. 最长距离或完全连接：定义类$G_p$的样本与$G_q$的样本之间的最长距离为两类之间的距离 D p q = max ⁡ { d i j ∣ x i ∈ G p , x j ∈ G q } D_{pq}=\max\{d_{ij}|x_i\in G_p,x_j\in G_q\} Dpq​=max{dij​∣xi​∈Gp​,xj​∈Gq​}
3. 中心距离：定义类$G_p$的样本与$G_p$的中心${\bar{x}}_p$与${\bar{x}}_q$之间的距离$$D_{pq}=d_{{\bar{x}}_p{\bar{x}}_q}$$
4. 平均距离：定义类$G_p$与类$G_q$任意两个样本之间的距离的平均值为两类之间的距离$$D_{pq}=\frac{1}{n_p{n}_q}\sum _{x_i\in G_p}\sum _{x_j\in G_q}{d}_{ij}$$

层次聚类

层次聚类假设类别之间存在层次结构，将样本聚到层次化的类中。因为每个样本只属于一个类，所以层次聚类属于硬聚类。

本节只介绍聚合聚类，其步骤描述如下：

1. 对于给定的样本集合，开始将每个样本分到一个类；
2. 然后按照一定规则，例如类间间距最小，将满足规则条件的两个类进行合并；
3. 如此反复进行，每次减少一个类，直到满足停止条件，如所有样本聚为一类。

聚合聚类需要预先确定下面三个要素：

1. 距离或相似度；
2. 合并规则；
3. 停止条件。

距离或相似度和合并规则的选择在之前已经介绍。停止条件的话，可以选择类的个数达到阈值或者类的直径超过阈值。

算法14.1（聚合聚类算法）
输入：$n$个样本组成的样本集合及样本之间的距离；
输出：对样本集合的一个层次化聚类。
（1）计算$n$个样本两两之间的欧式距离 { d i j } \{d_{ij}\} {dij​}，记作矩阵$D=[d_{ij}{]}_{n\times n}$（对称的）。
（2）构造$n$个类，每个类只包含一个样本。
（3）合并类间距最小的两个类，其中最短距离为类间距离，构建一个新类。
（4）计算新类与当前各类的距离。若类的个数为1，终止计算，否则返回步骤3.

其复杂度为$O(n^{2}m)$，其中$m$是样本的维数，$n$是样本个数。

k均值聚类

模型

给定$n$个样本的集合 X = { x 1 , x 2 , . . . , x n } X=\{x_1,x_2,...,x_n\} X={x1​,x2​,...,xn​}，每个样本由一个特征向量表示，特征向量的维数是$m$。$k$均值聚类的目标是将$n$个样本分到$k$个不同的类或簇中，这里假设$k<n$。$k$个类$G_1,G_2,...,G_k$形成对样本集合的划分，两两之间并不相交。用$C$表示划分，一个划分对应一个聚类结果。

划分$C$是一个多对一的函数。划分或者聚类可以用函数$l=C(i)$表示。所以$k$均值聚类的模型是一个从样本到类的函数。

策略

$k$均值聚类归结为样本集合$X$的划分，或者从样本到类的函数选择问题。$k$均值聚类的策略是通过损失函数的最小化选取最优划分或函数$C^{\ast }$。

采用欧式距离的平方作为样本之间的距离。定义样本与其所属类的中心之间的距离的总和为损失函数$$W(C)=\sum _{l=1}^k\sum _{C_i=l}\Vert x_i-{\bar{x}}_l{\Vert }^2$$
函数$W(C)$也称为能量，表示相同类中的样本相似程度。

$k$均值聚类就是求解最优化问题$$C\ast =\underset{C}{\mathrm{argmax}}\sum _{l=1}^k\sum _{C_i=l}\Vert x_i-{\bar{x}}_l{\Vert }^2$$

事实上，$k$均值聚类的最优解问题是NP问题，现实中采用迭代的方法求解。

算法

$k$均值聚类的算法是一个迭代的过程。

算法14.2（k均值聚类算法）
输入：n个样本的集合$X$；
输出：样本集合的聚类$C^{\ast }$。
（1）初始化，令$t=0$，随机选择$k$个样本点作为初始聚类中心 m ( 0 ) = { m 1 ( 0 ) , . . . , m l ( 0 ) , . . . , m k ( 0 ) } m^{(0)}=\{m_1^{(0)},...,m_l^{(0)},...,m_k^{(0)}\} m(0)={m1(0)​,...,ml(0)​,...,mk(0)​}
（2）对样本进行聚类，对固定的类中心，计算每个样本到类中心的距离，将每个样本指派到与其最近的中心的类中，构成聚类结果$C^{(t)}$
（3）计算新的类中心。对聚类结果$C^{(t)}$，计算当前各个类中的样本的均值，作为信的类中心。
（4）如果迭代收敛或者符合停止条件，输出$C^{\ast }=C^{(t)}$，否则令$t=t+1$，返回步骤2。

$k$均值的算法的复杂度是$O(mnk)$，n个样本点，要和k个中心的n个特征做计算。

接下来，我们来结合损失函数来理解一下这个算法：

1. 首先，对于给定的中心值，按照最近邻的方式分配类别，保证了极小化原则；
2. 然后，按照划分求出新的中心值，极小化了目标函数，就是说在给定划分的情况下使样本和所属类的中心之间的距离总和最小。

算法特性

1. 总体特点：基于划分；类别数事先给定；欧式距离的平方；中心或样本均值表示类别；欧式距离平方和为损失函数；得到的类别是平坦的、非层次化的；迭代算法，不能保证全局最优。
2. 收敛性：启发式方法，不能保证全局最优；初始中心的选择会影响聚类结果；类中心会移动，但变化不大，因为样本被分到了最近的类中。
3. 初始类的选择：不同的选择带来不同的结果。
4. 类别数$k$的选择：尝试使用不同的$k$推测最优$k$值（常采用二分查找）；聚类结果的质量可以通过类的平均直径来度量。一般而言，类别数变小，平均直径增加；类别数变大超过某个值之后，平均直径不发生改变，这正是最优$k$值。