机器学习 - 常见聚类算法

---

1. 无监督学习

对于那种没有label的数据，我们能做什么？

• 聚类
• 降维 (Dimensionality reduction)
• 异常检测 (Outlier detection)

这篇博客介绍一下无监督学习中的聚类。

2. 关于聚类

• 我们的目标：
• 大的类内相似度
• 小的类间相似度
• 软聚类 vs 硬聚类
• 软：一个样本可以被分为多类
• 硬：一个样本只能被分为一类

3.聚类算法

3.1 K-Means聚类 – partitioning method

K-Means（k-平均或k-均值）可以称的上是知名度最高的一种聚类算法，代码非常容易理解和实现。

【算法1】K-means

1. 随机初始化k个聚类质心点
2. 迭代 t 步(或迭代到质心位置不再发生太大变化)
   2.1 计算每个数据点到质心的距离来进行分类，它跟哪个聚类的质心更近，它就被分类到该聚类。
   2.2 再重新计算每一聚类中所有向量的平均值，并确定出新的质心。

t为迭代次数，K为簇的数目，m为记录数，n为维数。

• 时间复杂度$O(tKmn)$。
• 空间复杂度$O((m+K)n)$

K-means的优点：

• 当数据的分布有明显的簇的划分时，K-means表现很好。(works well when the clusters are compact clouds that are well-separated from each other)
• 可以用来解决凸数据的聚类。(discover clusters with convex shapes or clusters with quite different size)

K-means的缺点：

• k值的选取不太确定。
• 一开始质心点的选取是随机的，不同的初始质心选择，会导致不同的结果。所以，K-means 一定能收敛，但不一定是最优解
• 对噪声和outlier非常敏感

K-Medians是与K-Means相关的另一种聚类算法，不同之处在于它使用簇的中值向量来重新计算质心点。和K-means不同，K-中值算法的聚类中心点一定是一个真实存在的点。该方法对异常值不敏感（因为使用中值），但在较大数据集上运行时速度会慢很多，因为每次计算中值向量，我们都要重新排序。

3.2 层次聚类 – hierarchical method

层次聚类实际上可以被分为两类：自上而下和自下而上。其中自下而上算法（Bottom-up algorithms）首先会将每个数据点视为单个聚类，然后连续合并（或聚合）成对的聚类，直到所有聚类合并成包含所有数据点的单个聚类。它也因此会被称为hierarchical agglomerative clustering。该算法的聚类可以被表示为一幅树状图，树根是最后收纳所有数据点的单个聚类，而树叶则是只包含一个样本的聚类。
​​

【算法2】凝聚型层次聚类

1. 把每个数据点看作是一个聚类。
2. 迭代，直到只有一个聚类簇：
   2.1 找到距离最小的两个聚类簇$c_i,c_j$
   2.2 将$c_i,c_j$合并为一个簇

三种衡量聚类簇相似性的标准：

• single linkage: 两个聚类簇中最相似的两个点的相似度
• complete linkage: 两个聚类簇中最不相似的两个点的相似度
• average linkage: 两个聚类簇中平均两两相似度

层次聚类不要求我们指定聚类的数量，由于这是一个构建树的过程，我们甚至可以选择那种聚类看起来更合适。它具有$O(n^3)$的时间复杂度。

3.3 DBSCAN – density-based method

3.3.1 简介

【定义1】DBSCAN

DBSCAN（Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法）是一种基于密度的空间聚类算法。 该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇。
它将簇定义为密度相连的点的最大集合。通过将紧密相连的样本划为一类，这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，则我们就得到了最终的所有聚类类别结果。

我们知道k-means聚类算法只能处理凸(球形)的簇，也就是一个聚成实心的团 (cloud), 这是因为算法本身计算平均距离的局限。但往往现实中还会有各种形状，比如下面这张图，传统的聚类算法显然无法解决。于是就思考，样本密度大的成一类呗。这就是DBSCAN聚类算法。

3.3.2 重要概念

假设我的样本集是 D = ( x 1 , x 2 , . . . , x m ) D=(x_1,x_2,...,x_m)