聚类模型★★★★

该博客为个人学习清风建模的学习笔记，部分课程可以在B站：【强烈推荐】清风：数学建模算法、编程和写作培训的视频课程以及Matlab等软件教学_哔哩哔哩_bilibili

目录

1K-means聚类算法 

1.1算法流程

1.2图解过程

1.3算法流程图

 1.4算法评价

2K-means++聚类算法

2.1算法流程

 2.2SPSS操作

2.3一些讨论 

3系统（层次）聚类

3.1算法概念

3.2算法流程

3.3SPSS操作

​3.4聚类谱系图（树状图）

3.5肘部法则

3.6聚合系数折线图

3.6.1数据预处理

3.6.2画法

3.7确定K值保存聚类结果画图

​4DBSCAN算法

4.1定义

4.2概念

4.3DBSCAN算法可视化

4.4伪代码

4.5MATLAB代码

4.6算法评价

5总结 

---

名称	重要性	难度
聚类模型	★★★★	★★★

1K-means聚类算法 

1.1算法流程

一、指定需要划分的簇 [cù] 的个数K值（类的个数）;

二、随机地选择K个数据对象作为初始的聚类中心（不一定要是我们的样本点）;

三、计算其余的各个数据对象到这K个初始聚类中心的距离，把数据对象划归到距离它最近的那个中心所处在的簇类中;

四、调整新类并且重新计算出新类的中心;

五、循环步骤三和四，看中心是否收敛（不变），如果收敛或达到迭代次数则停止循环;

六、结束。

1.2图解过程

K-均值聚类可视化：https://www.naftaliharris.com/blog/visualizing-k-means-clustering/

1.3算法流程图

 1.4算法评价

 优点：

（ 1 ）算法简单、快速。

（ 2 ）对处理大数据集，该算法是相对高效率的。

缺点：

（ 1 ）要求用户必须事先给出要生成的簇的数目 K 。

（ 2 ）对初值敏感。

（ 3 ）对于孤立点数据敏感

K-means++ 算法可解决 2 和 3 这两个缺点。

2K-means++聚类算法

k-means++算法选择初始聚类中心的基本原则是： 初始的聚类中 心之间的相互距离要尽可能的远。

2.1算法流程

算法描述如下：

（只对K-means算法“初始化K个聚类中心” 这一步进行了优化）

步骤一： 随机选取一个样本作为第一个聚类中心；

步骤二： 计算每个样本与当前已有聚类中心的最短距离（即与最近一个聚类中心的距离），这个值越大，表示被选取作为聚类中心的概率较大；最后，用轮盘法（依据概率大小来进行抽选）选出下一个聚类中心；

步骤三： 重复步骤二，直到选出K个聚类中心。选出初始点后，就继续使用标准的K-means算法了。

 2.2SPSS操作

2.3一些讨论 

（ 1 ）聚类的个数 K 值怎么定？

答：分几类主要取决于个人的经验与感觉，通常的做法是多尝试几个 K 值，看分成几类的结果更好解释，更符合分析目的等。

（ 2 ）数据的量纲不一致怎么办？

答：如果数据的量纲不一样，那么算距离时就没有意义。例如：如果 X1单位是米，X2 单位是吨，用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方，最后算出的东西没有数学意义，这就有问题了。

3系统（层次）聚类

3.1算法概念

系统聚类的合并算法通过计算两类数据点间的距离，对最为接近的两类数据点进行组合，并反复迭代这一过程，直到将所有数据点合成一类，并生成聚类谱系图。

3.2算法流程

系统（层次）聚类的算法流程：

一、将每个对象看作一类，计算两两之间的最小距离；

二、将距离最小的两个类合并成一个新类；

三、重新计算新类与所有类之间的距离；

四、重复二三两步，直到所有类最后合并成一类；

五、结束。

3.3SPSS操作

3.4聚类谱系图（树状图）

3.5肘部法则

肘部法则（ Elbow Method ）：通过图形大致的估计出最优的聚类数量。

3.6聚合系数折线图

3.6.1数据预处理

3.6.2画法

3.7确定K值保存聚类结果画图

4DBSCAN算法

4.1定义

DBSCAN(Density-based spatial clustering of applications with noise)是 Martin Ester, Hans-PeterKriegel 等人于 1996 年提出的一种基于密度的聚类方法，聚类前不需要预先指定聚类的个数，生成的簇的个数不定（和数据有关）。该算法利用基于密度的聚类的概念，即要求聚类空间中的一定区域内所包含对象（点或其他空间对象）的数目不小于某一给定阈值。该方法能在具有噪声的空间数据库中发现任意形状的簇，可将密度足够大的相邻区域连接，能有效处理异常数据。

4.2概念

DBSCAN 算法将数据点分为三类：

• 核心点：在半径 Eps 内含有不少于 MinPts 数目的点

• 边界点：在半径 Eps 内点的数量小于 MinPts ，但是落在核心点的邻域内

• 噪音点：既不是核心点也不是边界点的点

 4.3DBSCAN算法可视化

DBSCAN 算法可视化 ： https://www.naftaliharris.com/blog/visualizing-dbscan-clustering/

4.4伪代码

4.5MATLAB代码

Matlab 官网推荐下载的代码：

https://ww2.mathworks.cn/matlabcentral/fileexchange/52905-dbscan-clustering-algorithm

% Copyright (c) 2015, Yarpiz (www.yarpiz.com)

% All rights reserved. Please read the "license.txt" for license terms.

%

% Project Code: YPML110

% Project Title: Implementation of DBSCAN Clustering in MATLAB

% Publisher: Yarpiz (www.yarpiz.com)

%

% Developer: S. Mostapha Kalami Heris (Member of Yarpiz Team)

%

% Contact Info: sm.kalami@gmail.com, info@yarpiz.com

注意， MATLAB 在 2019a 版本中正式加入了自己的 dbscan 函数，内置函数的运行效率 更高，具体使用方法可以查看： https://ww2.mathworks.cn/help/stats/dbscan.html

也可以看这个推文： https://mp.weixin.qq.com/s/T9DYgP6ZaQ3iTizxslSHrw

4.6算法评价

优点：

1. 基于密度定义，能处理任意形状和大小的簇；

2. 可在聚类的同时发现异常点；

3. 与K-means比较起来，不需要输入要划分的聚类个数。

缺点：

1. 对输入参数ε和Minpts敏感，确定参数困难；

2. 由于DBSCAN算法中，变量ε和Minpts是全局唯一的，当聚类的密度不均匀时，聚类距离相差很大时，聚类质量差；

3. 当数据量大时，计算密度单元的计算复杂度大。

5总结 

只有两个指标，且做出散点图后发现数据表现得很“ DBSCAN ”，这时候再用DBSCAN 进行聚类。

其他情况下，全部使用系统聚类。

K-means 也可以用，不过用了的话论文上可写的东西比较少。