个人学习笔记,课程为数学建模清风付费课程
目录
一、K-means聚类算法
1.1流程
一、指定需要划分的簇[cù]的个数K值(类的个数);二、随机地选择K个数据对象作为初始的聚类中心(不一定要是我们的样本点);三、计算其余的各个数据对象到这K个初始聚类中心的距离,把数据对象划归到距离它最近的那个中心所处在的簇类中;四、调整新类并且重新计算出新类的中心;五、循环步骤三和四,看中心是否收敛(不变),如果收敛或达到迭代次数则停止循环;六、结束。
1.2图解
K-均值聚类可视化:https://www.naftaliharris.com/blog/visualizing-k-means-clustering/
1.3流程图
1.4评价
优点:( 1 )算法简单、快速。( 2 )对处理大数据集,该算法是相对高效率的。缺点:( 1 )要求用户必须事先给出要生成的簇的数目 K 。( 2 )对初值敏感。( 3 )对于孤立点数据敏感。
K-means++
算法可解决
2
和
3
这两个缺点。
二、K-means++算法
k-means++算法选择初始聚类中心的基本原则是: 初始的聚类中 心之间的相互距离要尽可能的远。
2.1流程
算法描述如下: (只对K-means算法“初始化K个聚类中心” 这一步进行了优化)步骤一: 随机选取一个样本作为第一个聚类中心;步骤二: 计算每个样本与当前已有聚类中心的最短距离(即与最近一个聚类中心的距离),这个值越大,表示被选取作为聚类中心的概率较大;最后,用轮盘法(依据概率大小来进行抽选)选出下一个聚类中心;步骤三: 重复步骤二,直到选出K个聚类中心。选出初始点后,就继续使用标准的K-means算法了。
2.2Spss软件操作
2.3 讨论
( 1 )聚类的个数 K 值怎么定?答:分几类主要取决于个人的经验与感觉,通常的做法是多尝试几个 K 值,看分成几类的结果更好解释,更符合分析目的等。( 2 )数据的量纲不一致怎么办?答:如果数据的量纲不一样,那么算距离时就没有意义。例如:如果 X1单位是米,X2 单位是吨,用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方,最后算出的东西没有数学意义,这就有问题了。
三、系统(层次)聚类
3.1概述
系统聚类的合并算法通过计算两类数据点间的距离,对最为接近的两类数据点进行组合,并反复迭代这一过程,直到将所有数据点合成一类,并生成聚类谱系图。
3.2流程
系统(层次)聚类的算法流程:一、将每个对象看作一类,计算两两之间的最小距离;二、将距离最小的两个类合并成一个新类;三、重新计算新类与所有类之间的距离;四、重复二三两步,直到所有类最后合并成一类;五、结束。
3.3Spss软件操作
3.4聚类谱系图(树状图)
3.5用图形估计聚类的数量
肘部法则(Elbow Method):通过图形大致的估计出最优的聚类数量。
3.6聚合系数折线图
3.6.1画图前先对数据进行处理
3.6.2画法
3.7确定K后保存聚类结果并画图
示意图
四、DBSCAN算法
4.1概述
DBSCAN(Density-based spatial clustering of applications with noise)是 Martin Ester, Hans-PeterKriegel 等人于 1996 年提出的一种基于密度的聚类方法,聚类前不需要预先指定聚类的个数,生成的簇的个数不定(和数据有关)。该算法利用基 于密度的聚类的概念,即要求聚类空间中的一定区域内所包含对象(点或其他空间对象)的数目不小于某一给定阈值。该方法能在具有噪声的空间数据库中发现任意形状的簇,可将密度足够大的相邻区域连接,能有效处理异常数据。
4.2基本概念
DBSCAN 算法将数据点分为三类:• 核心点:在半径 Eps 内含有不少于 MinPts 数目的点• 边界点:在半径 Eps 内点的数量小于 MinPts ,但是落在核心点的邻域内• 噪音点:既不是核心点也不是边界点的点
4.3DBSCAN可视化
DBSCAN
算法可视化
https://www.naftaliharris.com/blog/visualizing-dbscan-clustering/
4.4伪代码(维基百科)
4.5Matlab代码
Matlab
官网推荐下载的代码:
https://ww2.mathworks.cn/matlabcentral/fileexchange/52905-dbscan-clustering-algorithm
% Copyright (c) 2015, Yarpiz (www.yarpiz.com)% All rights reserved. Please read the "license.txt" for license terms.%% Project Code: YPML110% Project Title: Implementation of DBSCAN Clustering in MATLAB% Publisher: Yarpiz (www.yarpiz.com)%% Developer: S. Mostapha Kalami Heris (Member of Yarpiz Team)%% Contact Info: sm.kalami@gmail.com, info@yarpiz.com
注意,
MATLAB
在
2019a
版本中正式加入了自己的
dbscan
函数,内置函数的运行效率
更高,具体使用方法可以查看:
https://ww2.mathworks.cn/help/stats/dbscan.html
也可以看这个推文:
https://mp.weixin.qq.com/s/T9DYgP6ZaQ3iTizxslSHrw
4.6 优缺点
优点:1. 基于密度定义,能处理任意形状和大小的簇;2. 可在聚类的同时发现异常点;3. 与K-means比较起来,不需要输入要划分的聚类个数。缺点:1. 对输入参数ε和Minpts敏感,确定参数困难;2. 由于DBSCAN算法中,变量ε和Minpts是全局唯一的,当聚类的密度不均匀时,聚类距离相差很大时,聚类质量差;3. 当数据量大时,计算密度单元的计算复杂度大。
五、总结
只有两个指标,且你做出散点图后发现数据表现得很“ DBSCAN ”,这时候你再用DBSCAN 进行聚类。其他情况下,全部使用系统聚类吧。K-means 也可以用,不过用了的话你论文上可写的东西比较少。