《统计学习方法》--聚类方法

《统计学习方法》第十四章–聚类方法

聚类方法主要是依据某种相似度判别标准，将给定的未标注的数据集依据相似度自动的将其划分为若干个类或簇中。聚类方法的目的是通过算法的聚类，对未标注数据集进行一定程度的划分，以便于发现潜在的关系，但是聚类方法的效果严重依赖于所选的相似度判别标准。

相似度判别标准

相似度的判别主要是通过一定的标准来说明所给的实例之间的相似程度，常见的有基于距离的标准，基于相关系数的标准;针对字符串或文本还有基于编辑距离，基于词向量等的标准。针对要解决的问题选择合适的相似度判别标准是聚类方法最基础也是最核心的步骤。

闵可夫斯基距离

定义：给定样本集合$X$，$X$是$m$维实数向量空间$R^m$中点的集合，其中$x_i,x_j\in X,x_j=(x_{j1},x_{j2},...,x_{jm}),x_i=(x_{i1},x_{i2},...,x_{im})$,$x_{im}$表示第$i$个样本的第$m$维特征,样本$x_i,x_j$的闵可夫斯基距离定义为$$d_{ij}=(\sum _{k=1}^m|x_{ik}-x_{jk}{|}^p{)}^{\frac{1}{p}},p\ge 1$$

• 1. 欧式距离：
     当$p=2$时就是我们常见的欧氏距离，$d_{ij}=({\sum }_{k=1}^m|x_{ik}-x_{jk}{|}^2{)}^{\frac{1}{2}}$
• 2. 曼哈顿距离：
     当$p=1$时称为曼哈顿距离，$d_{ij}=({\sum }_{k=1}^m|x_{ik}-x_{jk}|)$
• 3. 切比雪夫距离：
     当$p=\infty$时称为切比雪夫距离，$d_{ij}=({\max }_k|x_{ik}-x_{jk}|)$

注：这里的各种距离其实和矩阵论中的各类范数对应

马哈拉诺比斯距离

马哈拉诺比斯距离简称马氏距离，它考虑了样本各个分量（不同特征）之间的相关性，并且同各个分量的尺度无关（不受不同分量尺度不同的影响）

定义：给定一个样本集合$X,X=(x_{ij})n\times m$样本集合各分量间的协方差矩阵记作$X$。样本$x_i$与样本$x_j$之间的马氏距离定义为$$d_{ij}=[(x_i-x_j{)}^T{S}^{-1}(x_i-x_j){]}^{\frac{1}{2}}$$其中$x_i=(x_{i1},x_{i2},...,x_{im}),x_j=(x_{j1},x_{j2},...,x_{jm})$

闵可夫斯基距离VS马哈拉诺比斯距离

1. 闵可夫斯基距离的缺点是很明显的，首先是未考虑各个分量的量纲的不同，只是单纯的进行数值计算，因此这种度量方式很容易受到分量取值范围的影响；其次该种方式并未考虑各个分量之间的相关性，与马氏距离相比缺少了一部分信息。但是闵可夫斯基距离优势在于理解直观，计算较为简单快速。
2. 马氏距离很好的考虑了数据不同分量的问题，而且考虑了各个分量之间的相关性，在进行距离度量的同时包含一定的统计学信息，但是有时候马氏距离也

参考自:
欧氏距离与马氏距离的优缺点是什么？
马氏距离(Mahalanobis Distance)

协方差与相关系数

相关系数其实是对协方差的一种标准化。对于两个随机变量$X,Y$他们的协方差定义为:$$Cov(X,Y)=E[(X-{\mu }_x)(Y-{\mu }_y)]$$协方差表示了两个随机变量的协同变化情况。当协方差为正时说明两个随机变量是同向变化的（一个增大另一个也增大，一个减小另一个也减小）。对于多个随机变量而言，求解任意两个变量的协方差并按照矩阵的形式记录下来得到的就是协方差矩阵。

相关系数其实可以理解成是对协方差进行了标准化，消除了协方差中量纲的影响，只是单纯的反应两个变量单位变化量时的相似程度。对于两个随机变量$X,Y$他们的相关系数定义为$${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$其中$D(X),D(Y)$表示对应随机变量的方差

参考自：
如何通俗易懂地解释「协方差」与「相关系数」的概念？

聚类方法

层次聚类

层次聚类假设类别之间存在上下位的层次关系，按照聚合方向可以按照从上至下（分裂）聚类和从下到上（聚合）聚类

1. 从上至下聚类(分裂): 在开始时将全部的样本都归为一类，然后将已有的类中距离最远的样本分到两个新的类别中，重复操作直到满足停止条件。
2. 从下至上聚类(聚合): 在开始将每个样本都认为是一类，然后将已有类中距离最近的两类的样本聚合为一类，重复操作直到满足停止条件。

K-means聚类(K均值聚类)

K均值聚类是将样本集合划分为K个子集，将样本集合中的样本划分到K个子集中，使得每个样本距离所属类的中心的距离最短。

输入： N个样本的集合
输出：样本集合的聚类
(1) 初始化：随机选取K个初始样本作为类中心
(2) 聚类： 根据当前的类中心，计算剩余样本距离每个类中心的距离，并将其归入最近的一类中得到新的类集合
(3) 更新类中心：对于新得到的类集合，计算集合中样本的均值，得到新的类中心
(4) 迭代(2)(3)步直到满足聚类停止条件，得到聚类结果

K均值聚类的优点是计算速度较快，通俗易懂，但缺点是算法效果和初始类中心的选择，K值选择有很大关系。

聚类方法的比较总结

如何正确选择聚类算法？