聚类学习笔记--kmeans

最新推荐文章于 2023-02-27 18:45:05 发布
最新推荐文章于 2023-02-27 18:45:05 发布
阅读量1.4k 收藏 10
点赞数
分类专栏： 聚类 文章标签： kmeans 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Arise_/article/details/120429471
版权

聚类学习

一、聚类基础

1. 定义

聚类(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。

2. 一般过程

  • 数据准备：特征标准化和降维
  • 特征选择：从最初的特征中选择最有效的特征，并将其存储在向量中
  • 特征提取：通过对选择的特征进行转换形成新的突出特征
  • 聚类：基于某种距离函数进行相似度度量，获取簇
  • 聚类结果评估：分析聚类结果，如距离误差和(SSE)等

3. 度量方法

在这里插入图片描述

二、 kmeans

算法步骤

在这里插入图片描述

算法特点：

1. 初值敏感

  • K-means算法是初值敏感的，选择不同的初始值可能导致不同的簇划分规则。为了避免这种敏感性导致的最终结果异常性，可以采用初始化多套初始节点构造不同的分类规则，然后选择最优的构造规则。针对这点后面因此衍生了：二分K-Means算法、K-Means++算法、K-Means||算法、Canopy算法等。

  • 初始点选择原则：
    （1）k个点的距离尽可能远
    （2）可以对数据先进行层次聚类，得到K个簇之后，从每个类簇中选择一个点，该点可以是该类簇的中心点，或者是距离类簇中心点最近的那个点。
    在这里插入图片描述

2.需要提前确定K值

  • k 值对最终结果的影响至关重要，而它却必须要预先给定。给定合适的 k 值，需要先验知识，凭空估计很困难，或者可能导致效果很差。## k值选取
1）. 手肘法

手肘法的核心指标是SSE(sum of the squared errors，误差平方和)：

在这里插入图片描述

  • 其中，Ci是第i个簇，p是Ci中的样本点，mi是Ci的质心（Ci中所有样本的均值），SSE是所有样本的聚类误差，代表了聚类效果的好坏。
  • 手肘法的核心思想是：随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。
  • 并且，当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。
    在这里插入图片描述
2）. 轮廓系数法

该方法的核心指标是轮廓系数（Silhouette Coefficient），某个样本点Xi的轮廓系数定义如下：
在这里插入图片描述

  • 其中，a是Xi与同簇的其他样本的平均距离，称为凝聚度，b是Xi与最近簇中所有样本的平均距离，称为分离度。而最近簇的定义是
    在这里插入图片描述
  • 其中p是某个簇Ck中的样本。事实上，简单点讲，就是用Xi到某个簇所有样本平均距离作为衡量该点到该簇的距离后，选择离Xi最近的一个簇作为最近簇。
  • 求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1]，且簇内样本的距离越近，簇间样本距离越远，平均轮廓系数越大，聚类效果越好。那么，很自然地，平均轮廓系数最大的k便是最佳聚类数。
    在这里插入图片描述
3）. Calinski-Harabaz指数

Calinski-Harabaz的分数S被定义为组间离散与组内离散的比率，该分值越大说明聚类效果越好。
在这里插入图片描述

  • 其中 Bk 是组间离散矩阵， Wk 是组内离散矩阵:
    在这里插入图片描述
  • N 为数据中的点数，Cq 为 cluster （簇） q 中的点集， cq 为 cluster（簇） q 的中心， ce为 E 的中心， nq 为 cluster（簇） q 中的点数。
  • 也就是说，类别内部数据的协方差越小越好，类别之间的协方差越大越好，这样的Calinski-Harabasz分数会高。
  • 得分计算很快
4）. Davies-Bouldin 指数
  • Davies-Bouldin 表示集群之间的平均“相似度”，其定义为：
    在这里插入图片描述
  • Si表示聚类i中每个点之间的平均距离，dij表示聚类i,j的质心之间的距离，Rij定义相似性为：

在这里插入图片描述

  • 其中相似度是将集群之间的距离与集群本身的大小进行比较的度量。零是可能的最低分。接近零的值表示更好的分区。
5）. 其他
  • Rand index、Mutual Information based scores、Homogeneity, completeness and V-measure、Fowlkes-Mallows scores、Fowlkes-Mallows scores等方法需要真实值。

3. 异常点敏感

  • K-means算法在迭代的过程中使用所有点的均值作为新的质点(中心点)，如果簇中存在异常点，将导致均值偏差比较严重。 比如一个簇中有2、4、6、8、100五个数据，那么新的质点为24，显然这个质点离绝大多数点都比较远；在当前情况下，使用中位数6可能比使用均值的想法更好，使用中位数的聚类方式叫做K-Mediods聚类(K中值聚类)。

优缺点

1. 优点

  • 容易理解，聚类效果不错，虽然是局部最优， 但往往局部最优就够了；
  • 处理大数据集的时候，该算法可以保证较好的伸缩性；
  • 当簇近似高斯分布的时候，效果非常不错；
  • 算法复杂度低。

2. 缺点

  • K 值需要人为设定，不同 K 值得到的结果不一样；
  • 对初始的簇中心敏感，不同选取方式会得到不同结果；
  • 只能得到局部最优；
  • 对异常值敏感；
  • 样本只能归为一类，不适合多分类任务；
  • 不适合太离散的分类、样本类别不平衡的分类、非凸形状的分类。

三、k-means++

  • k-means++是针对k-means中初始质心点选取的优化算法。
  • 该算法的流程和k-means类似，改变的地方只有初始质心的选取，该部分的算法流程如下：
    在这里插入图片描述

四、DBSCAN

DBSCAN是一种基于密度聚类的算法。该算法的最大优点是可以将非球形簇实现恰到好处的聚类
在这里插入图片描述

算法步骤

在这里插入图片描述
例如：
在这里插入图片描述

算法特点

  • 需要为算法指定eps和MinPts参数，这对分析人员是一个很大的挑战；
  • 更适用于凹形状的分类
  • DBSCAN聚类算法对参数eps和MinPts的设置是非常敏感的，如果指定不当，该算法将造成聚类质量的下降。
  • 参考scikit中的函数

参考链接

https://zhuanlan.zhihu.com/p/104355127
https://blog.csdn.net/qq_15738501/article/details/79036255
https://zhuanlan.zhihu.com/p/47812841

祈目
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
聚类评价CH指标sklearn.metrics.calinski_harabasz_score
weixin_46713695的博客
08-19 6846
sklearn.metrics.calinski_harabasz_score
sklearn kmeans_[精]Kmeans应用与特征选择
weixin_39558754的博客
11-26 661
1实验在介绍完 kmeans 的方法之后，我们找了 真实的数据集来做算法实验。我们使用的数据 集是 sklearn 机器学习库里面的 datasets 子库中 的鸢尾花(iris)数据，共包括 150 个花的数据， 每个数据有四个属性(特征)，分别是花萼长度， 花萼宽度，花瓣长度，花瓣宽度。然后，我们 选取不同的特征对花进行聚类，首先我们选择 花萼长度，花萼宽度作为特征聚类，然后我们 选择花瓣长度...
聚类 - 2 - K-means算法，K中值聚类
xueyingxue001的专栏
07-20 1万+
本总结是是个人为防止遗忘而作，不得转载和商用。            K-means算法，也被称为k-平均或k-均值，是一种广泛使用的聚类算法，或者成为其他聚类算法的基础。 算法步骤          输入：样本S = X1, X2,..., Xm。          步骤：                    1，选择初始的K个类别中心μ1，μ2，...，μk，k       
k 均值算法（k-means）
Wisimer
04-24 6537
k-means 聚类算法，属于无监督学习算法。也就是说样本中却没有给定y，只有特征x。聚类的目的是找到每个样本x潜在的类别y，并将同类别y的样本x放在一起。k-means 算法实际上是一种最大期望算法（EM 算法）。 1. k-means算法步骤 在k-means算法中，用质心（样本均值）来表示簇类（cluster）；且容易证明k-means算法收敛等同于所有质心不再发生变化。基本的k-means...
机器学习入门研究（十六）—K-means
nihaomabmt的专栏
02-21 372
无监督学习 相对于前面学习的各种监督学习的算法，都是既有特征又有目标值的学习；而无监督学习就是没有目标值，只有特征值，要根据这些特征值自行训练，然后在进行分类预测。 分类 聚类：K-means（K均值）、均值漂移聚类、基于密度的聚类方法（DBSCAN）、用高斯混合模型（GMM）的最大期望（EM）聚类、凝聚层次聚类、图团体检测（Graph Community Detection） 降维：PC...
k-means聚类算法-mai笔记
最新发布
05-31
k-means聚类算法是一种广泛应用的数据挖掘方法，用于无监督学习中的数据分类。它通过迭代寻找数据集中的k个核心点，将数据分配到最近的核心点所在的簇中，以此达到划分数据的目的。以下是对k-means算法的详细介绍： ...
python-clustering-exercises：Jupyter Notebook练习，用于使用Python 3和scikit-learn进行k均值聚类
02-03
在k均值聚类中，`scikit-learn`的`KMeans`类提供了实现这一算法的接口。 k均值聚类的核心思想是迭代地调整聚类中心和数据点的分配，直到达到某个终止条件（如聚类中心不再改变或达到最大迭代次数）。具体步骤如下：...
k-means同心圆的聚类代码
11-08
对于同心圆以及近似同心圆的聚类方法，适合于聚类进阶学习 对于同心圆以及近似同心圆的聚类方法，适合于聚类进阶学习 对于同心圆以及近似同心圆的聚类方法，适合于聚类进阶学习
kmeans-audio-compresser:整体笔记本计算机和计算机的数据集ICMC数据
03-16
"kmeans-audio-compressor"项目展示了如何利用KMeans聚类算法对笔记本和计算机数据集中的音频进行有效压缩，这不仅是对音频处理技术的一种创新应用，也为数据科学家和音频工程师提供了一个实用的工具和学习案例。...
Kmeans与Kmeans++算法Python代码实现
05-23
KMeans算法是一种经典的无监督学习方法，用于数据聚类。它通过迭代优化来寻找最佳的聚类中心，使得每个样本点到其所属簇中心的距离平方和最小。KMeans++是KMeans的一个改进版本，解决了KMeans在初始化聚类中心时可能...
k-means聚类总结
guoguozgw的博客
02-27 2294
k-means聚类总结
特征提取方法：聚类之Kmeans
Jack_Kuo的博客
06-22 1万+
本文是学习计算机视觉：（二）计算机视觉的基础中第二部分图像特征及描述下的特征提取方法：聚类方法里边的Kmesns方法
python Calinski-Harabasz指数评价K-means聚类模型
becatjd的博客
05-04 1万+
数据集进行LLE降维后K-means聚类，计算CH指数 #导入本地图片集 import os
kmeans特征提取原理，详细代码图解分析
热门推荐
whiteinblue的专栏
05-28 1万+
一、数据、数据预处理 2.1数据：  下载的CIFAR-10数据库；其中的每个data_batch都是10000x3072大小的，即有1w个样本图片，每个图片都是32*32且rgb三通道的，这里的每一行表示一个样本。 提取40W个训练patches： patches = zeros(numPatches, rfSize*rfSize*3);%400000*108 for i=1:numP
k-means
icodeblocks的专栏
11-20 273
k-means    聚类算法是在不知道数据标签的情况下将相似的数据分为一类。K-means是一个经典的聚类算法，在实践中往往得到不错的效果。 K-means的算法流程： 选择K个中心点，计算样本中每个点与这K个点的距离。 比较样本点离那个中心点最近的，并将该样本点划分到离样本点最近的类别中。 根据第2步将每个样本分为K个簇，求每个簇的中心点，将其作为新的中心点。 重复的执行1到3步，直到簇的中心变化小于规定值，或者达到预定的迭代次数，或者MSE小于预定值。 ​    算法的可视化如图： 算法的
特征工程——为什么要特征降维？特征降维有哪些方法？如何使用sklearn实现？
Ma Sizhou
03-12 7189
特征降维 1、降维 1.1 定义 降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程 降低随机变量的个数 相关特征(correlated feature) 比如，相对湿度与降雨量之间的相关，我们就可以只选择一个 正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大 1.2 降维的两种方式 特征选择 主成分分析（可以理解一种特征提取的方式） 2、特征选择 2.1 定义 数据中包含冗余或无关
聚类算法及其模型评估指标【Tsai Tsai】
weixin_60200880的博客
10-16 2235
KMeans作为聚类算法的典型代表，KMeans算法将一组N个样本的特征矩阵X划分为K个无交集的簇，直观上来看是一组一组聚集在一起的数据，在一个簇中的数据就认为是同一类。当我们找到一个质心，在每次迭代中被分配到这个质心上的样本都是一致的，即每次新生成的簇都是一致的，所有的样本点都不会再从一个簇转移到另一个簇，质心就不会变化了。实际上，在质心不断变化不断迭代的过程中，总体平方和是越来越小的。在一个二维平面中，一簇数据点的质心的横坐标就是这一簇数据点的横坐标的均值，质心的纵坐标就是这一簇数据点的纵坐标的均值。
K-means聚类分析-机器学习
qq_61381282的博客
06-24 1673
机器学习之Kmeans聚类
python机器学习案例系列教程——k均值聚类、k中心点聚类
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
01-07 1万+
全栈工程师开发手册 （作者：栾鹏） python数据挖掘系列教程 上一篇我们学习了层次聚类。层次聚类只是迭代的把最相近的两个聚类匹配起来。并没有给出能给出多少的分组。今天我们来研究一个K均值聚类。就是给定分组数目的基础上再来聚类。即将所有的样本数据集分成K个组，每个组内尽可能相似，每个组间又尽可能不相似。 k均值聚类和k中心点聚类属于基于划分的聚类。也就是给定了k值（簇的个...
python kmeans聚类_k-means+python︱scikit-learn中的KMeans聚类实现( + MiniBatchKMeans)
05-25
K-means是常用的聚类算法之一，它的主要思想是将数据点分为K个簇，使得同一簇内的点相似度较高，不同簇之间的点相似度较低。在scikit-learn中，KMeans聚类算法已经实现，可以方便地进行聚类操作。 本文将介绍使用scikit-learn中的KMeans聚类算法进行聚类的步骤和实现方法，并介绍MiniBatchKMeans的使用。 ## 1. 数据准备 我们先生成一个随机数据集，用于演示KMeans聚类： ```python import numpy as np # 生成随机数据 np.random.seed(0) X = np.random.randn(1000, 2) # 生成1000个二维数据点 ``` ## 2. 模型训练 接下来，我们使用KMeans模型对数据进行聚类： ```python from sklearn.cluster import KMeans # 构建模型 kmeans = KMeans(n_clusters=3, random_state=0) # 训练模型 kmeans.fit(X) ``` 这里选择将数据分为3个簇，可以根据实际情况进行调整。训练完成后，我们可以查看簇中心点的位置： ```python print(kmeans.cluster_centers_) ``` 输出： ``` [[ 0.05161133 -0.96525049] [ 1.06359705 -0.02646225] [-0.9680658 0.04252211]] ``` ## 3. 预测和评估 训练完成后，我们可以使用训练好的模型对新数据进行预测： ```python # 预测新数据 y_pred = kmeans.predict(X) ``` 对于聚类算法，我们可以使用轮廓系数（Silhouette Coefficient）评估聚类效果。轮廓系数是一种衡量聚类质量的指标，取值范围在[-1, 1]之间，越接近1表示聚类效果越好。在scikit-learn中，可以使用metrics.silhouette_score来计算轮廓系数： ```python from sklearn import metrics # 计算轮廓系数 score = metrics.silhouette_score(X, y_pred) print(score) ``` 输出： ``` 0.6011942331016043 ``` ## 4. MiniBatchKMeans KMeans聚类算法的一个问题是它对于大规模数据的聚类会比较慢。因此，scikit-learn中还提供了MiniBatchKMeans算法，它可以加快聚类速度。 MiniBatchKMeans的使用方法与KMeans类似： ```python from sklearn.cluster import MiniBatchKMeans # 构建模型 mbkmeans = MiniBatchKMeans(n_clusters=3, random_state=0) # 训练模型 mbkmeans.fit(X) # 预测新数据 y_pred = mbkmeans.predict(X) # 计算轮廓系数 score = metrics.silhouette_score(X, y_pred) print(score) ``` 需要注意的是，MiniBatchKMeans算法在聚类效果上可能会稍微劣于KMeans算法，但是速度更加快捷。在处理大规模数据时，可以优先考虑使用MiniBatchKMeans算法。 本文介绍了使用scikit-learn中的KMeans聚类算法进行聚类的步骤和实现方法，并介绍了MiniBatchKMeans的使用。在实际应用中，可以根据实际情况选择不同的聚类算法和参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值