数学建模 —— 聚类算法

---

前言

聚类和上分类的区别：分类是已知类别的，聚类未知。

---

一、K-means聚类

1.算法流程

1. 指定需要划分的簇的个数K值（类的个数）;

2. 随机地选择K个数据对象作为初始的聚类中心（不一定要是我们的样本点）;

3. 计算其余的各个数据对象到这K个初始聚类中心的距离，把数据对象划归 到距离它最近的那个中心所处在的簇类中;

4. 调整新类并且重新计算出新类的中心;

5. 循环步骤3和4，看中心是否收敛（不变），如果收敛或达到迭代次数则停止循环;

6. 结束。

2.流程图

3.算法优缺点

• 优点：
  （1）算法简单、快速。
  （2）对处理大数据集，该算法是相对高效率的。

• 缺点：
  （1）要求用户必须事先给出要生成的簇的数目K。
  （2）对初值敏感。
  （3）对于孤立点数据敏感

K‐means++算法可解决2和3这两个缺点。

4.注意事项

如果数据的量纲不一样，那么算距离时就没有意义。要对数据进行处理，spss里面对数据可以进行“z得分”处理，公式为：

二、K-means++聚类

1.算法流程

1、K-means++算法选择初始聚类中心的基本原则是：初始的聚类中心之间的相互距离要尽可能的远。
2、只对K-means算法“初始化K个聚类中心” 这一步进行了优化。
3、SPSS默认使用的就是K-means++算法。

1. 步骤一：随机选取一个样本作为第一个聚类中心；
2. 步骤二：计算每个样本与当前已有聚类中心的最短距离（即与最近一个聚类中心的距离），这个值越大，表示被选取作为聚类中心的概率较大；最后，用轮盘法（依据概率大小来进行抽选）选出下一个聚类中心；
3. 步骤三：重复步骤二，直到选出K个聚类中心。选出初始点后，就继续使用标准的K-means算法了。

2.流程图

3.算法优缺点

和上面K-means算法一样，只是缺点2和3没有了。

4.注意事项

和K-means算法一样。

三、系统聚类（应用最多）

系统聚类的合并算法通过计算两类数据点间的距离，对最为接近的两类数据点进行组合，并反复迭代这一过程，直到将所有数据点合成一类，并生成聚类谱系图。

1.算法流程

1. 将每个对象看作一类，计算两两之间的最小距离；
2. 将距离最小的两个类合并成一个新类；
3. 重新计算新类与所有类之间的距离；
4. 重复2、3两步，直到所有类最后合并成一类；
5. 结束。
   
   最后可以得到一张谱系图（树状图）：（如下例子）
   

2.用肘部法则 估计聚类的数量

肘部法则（Elbow Method）：通过图形大致的估计出最优的聚类数量。

例子：

四、DBSCAN聚类

DBSCAN (Density-based spatial clustering of applications with noise) 是一种基于密度的聚类方法，聚类前不需要预先指定聚类的个数，生成的簇的个数不定（和数据有关）。该算法利用基于密度的聚类的概念，即要求聚类空间中的一定区域内所包含对象（点或其他空间对象）的数目不小于某一给定阈值。该方法能在具有噪声的空间数据库中发现任意形状的簇，可将密度足够大的相邻区域连接，能有效处理异常数据。

1.算法流程

• 从数据集中任意选取一个数据对象点 p；
• 如果对于参数 Eps (扫描圆圈的半径) 和 MinPts（扫描圆圈里面包含的点数），所选取的数据对象点 p 为核心点，则找出所有从 p 密度可达的数据对象点，形成一个簇；
• 如果选取的数据对象点 p 是边缘点，选取另一个数据对象点；
• 重复2、3步，直到所有点被处理。
  
  例子：

2.优缺点

• 优点：

1. 基于密度定义，能处理任意形状和大小的簇；
2. 可在聚类的同时发现异常点；
3. 与K-means比较起来，不需要输入要划分的聚类个数。

• 缺点：

1. 对输入参数ε和Minpts敏感，确定参数困难；
2. 由于DBSCAN算法中，变量ε和Minpts是全局唯一的，当聚类的密度不均匀时，聚类距离相差很大时，聚类质量差；
3. 当数据量大时，计算密度单元的计算复杂度大

总结