K-Means聚类最优k值的选取

最新推荐文章于 2024-06-05 23:49:40 发布
最新推荐文章于 2024-06-05 23:49:40 发布
阅读量2.1w 收藏 60
点赞数 6
分类专栏： 基础 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/harry_128/article/details/80523568
版权
本文介绍了K-Means聚类中确定最佳聚类数k的方法，包括手肘法和轮廓系数法。手肘法通过观察误差平方和（SSE）随k变化的曲线来寻找“肘部”对应的k值。轮廓系数法则通过计算样本的凝聚度和分离度来评估聚类质量。实践中，两者最佳k值可能不同，轮廓系数更关注样本与最近簇的平均距离。
摘要由CSDN通过智能技术生成

最近做一个文本分类的项目，在最开始的时候会用到K-means的聚类方法，因此需要在文本上找到最佳的聚类数。

1. 手肘法

1.1 理论

手肘法的评价K值好坏的标准是SSE（sum of the squared errors）

SSE=∑p∈Ci|p−mi|2 S S E = ∑ p ∈ C i | p − m i | 2

其中 Ci C i 代表第 i i 个簇，

最低0.47元/天 解锁文章
harry_128
关注
  • 6
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
确定最佳聚类数matlab代码_K-means聚类最优k值的选取
weixin_39606019的博客
11-26 6078
最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博客资源，总结出主流的确定聚类数k的方法有以下两类。1.手肘法1.1 理论手肘法的核心指标是SSE(sum of the squared errors...
K-means聚类最优k值的选取
qq_15738501的博客
01-11 8万+
       最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博客资源，总结出主流的确定聚类数k的方法有以下两类。1.手肘法1.1 理论手肘法的核心指标是SSE(sum of the squared...
K-means算法及最佳聚类数目的确定
2401_83250053的博客
03-12 1622
综上所述，CH值、DB值、Gap值和轮廓系数都是常用的聚类效果评价指标，它们从不同的角度对聚类结果进行了度量。Kmeans算法对初始值是⽐较敏感的，对于同样的k值，选取的点不同，会影响算法的聚类效果和迭代的次数。通过计算原始数据中的：CH值、DB值、Gap值、轮廓系数，四种指标来衡量K-means的最佳聚类数目，并使用K-means进行聚类，最后可视化聚类的结果。用于丰富充实论文内容。聚类效果评判中的CH值、DB值、Gap值和轮廓系数是四种常用的指标，它们从不同的角度衡量了聚类的质量。
【机器学习】K-means聚类的最优k值的选取（含代码示例）
最新发布
06-05 3万+
【机器学习】K-means聚类的最优k值的选取
四种确定K-means最佳聚类个数的方法（K-means++）——附代码
不定时分享电力优化、神经网络、数学建模等技术等
02-20 1万+
k均值聚类算法（k-means clustering algorithm）是一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。其中，ai是第i个点到与i相同聚类中其他点的平均距离，bi是第i个点到不同聚类中的点的最小平均距离，在聚类中最小。轮廓系数的范围从-1到1。Kmeans算法对初始值是⽐较敏感的，对于同样的k值，选取的点不同，会影响算法的聚类效果和迭代的次数。
K-means聚类算法原理及python实现
热门推荐
Flaneur-yz的博客
07-26 24万+
文章目录一.聚类算法二.K-means聚类算法三.K-means算法步骤详解Step1.K值的选择Step2.距离度量2.1.欧式距离2.2.曼哈顿距离2.3.余弦相似度Step3.新质心的计算Step4.是否停止K-means四.K-means算法代码实现1.其伪代码如下2.python实现五.K-means算法补充六.小结 一.聚类算法     &nbs...
5 分钟带你弄懂 k-means 聚类
黄飞的博客专栏
11-08 11万+
聚类与分类的区别分类：类别是已知的，通过对已知分类的数据进行训练和学习，找到这些不同类的特征，再对未分类的数据进行分类。属于监督学习。聚类：事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习。关于监督学习和无监督学习，这里给一个简单的介绍：是否有监督，就看输入数据是否有标签，输入数据有标签，则为有监督学习，否则为无监督学习。更详尽的解释会在后续
【转】K-means聚类最优k值的选取
m0_37235489的博客
03-30 1万+
以下博文转自：https://blog.csdn.net/qq_15738501/article/details/79036255  感谢最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博客资源，总...
【数据挖掘】数据挖掘总结 ( K-Means 聚类算法 | 二维数据的 K-Means 聚类 ) ★
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
12-28 3230
一、 K-Means 聚类算法流程、 二、 二维数据的 K-Means 聚类、 1、 第一次迭代、 2、 第二次迭代、
python list去重方法及效率
harry的博客
06-01 2万+
1、直观方法 li=[1,2,3,4,5,1,2,3] new_li=[] for i in li: if i not in new_li: new_li.append(i) print(new_li) 总结：这样可以做出来，但是效率不行。但是此方法保证了列表的顺序性。 2、利用set的自动去重功能 li=[1,2,3,4,5,1,2,3] li=list(set(...
C++二进制完成加减乘除
harry的博客
05-01 1万+
首先介绍计算机的二进制码 二进制常用的有原码，反码和补码，他们都是由最左边的一个符号位和右边的数值位构成。在计算机中为了更低成本的计算，数据都是用补码来存储和运算的。 原码 最高位表示符号位（0代表正数，1代表负数）。剩下的位数，是这个数的绝对值的二进制。 比如 一个int变量大小为4字节，在32位的编译器中的二进制表示就是0000000000000000000000000000000...
生成方法和判别方法的复习
harry的博客
05-29 2571
监督学习可以分为生成方法与判别方法，所学到的模型可以分为生成模型与判别模型。 生成模型 生成模型由数据学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型： P(Y|X)=P(X,Y)P(X) 这样的方法之所以称为生成方法，是因为模型表示了给定输入X产生输出Y的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型 判别模型 判别方法由数据直接...
机器学习中使用正则化来防止过拟合是什么原理？
harry的博客
07-05 2114
从知乎整理而来 1 过拟合是一种现象。当我们提高在训练数据上的表现时，在测试数据上反而下降，这就被称为过拟合，或过配。过拟合发生的本质原因，是由于监督学习问题的不适定：在高中数学我们知道，从n个（线性无关）方程可以解n个变量，解n+1个变量就会解不出。在监督学习中，往往数据（对应了方程）远远少于模型空间（对应了变量）。因此过拟合现象的发生，可以分解成以下三点：有限的训练数据不能完全反映出一...
距离度量的对比分析
harry的博客
05-31 1227
余弦距离、欧氏距离和杰卡德距离度量的对比分析 1. 余弦距离 余弦距离，也称为余弦相似度 是用两个向量夹角的余弦值作为衡量两个向量差异的度量。 2. 欧式距离 欧式距离，是计算两个空间向量的欧几里得距离，也就是传统上两个点的距离，只不过这个时候点是多维的。 3. 杰卡德 两个集合A和B交集元素的个数在A、B并集中所占的比例，称为这两个集合的杰卡德系数，用符号 J(A,B) 表示...
PCA 和 SVD 原理区别
harry的博客
06-12 1223
最近无意中又看到了PCA和SVD，又有些新的想法。 PCA 和 SVD都是对数据进行降维，但是方法不一样。 PCA 是用特征向量来进行降维，但是很多只有方阵有特征向量。 SVD则更普遍一点，可以对一般的矩阵进行降维，本身就是一种矩阵分解方法...
文本分类的tricks
harry的博客
07-10 809
趁机总结一下之前遇到过的一些小trick吧：数据预处理时vocab的选取（前N个高频词或者过滤掉出现次数小于3的词等等）词向量的选择，可以使用预训练好的词向量如谷歌、facebook开源出来的，当训练集比较大的时候也可以进行微调或者随机初始化与训练同时进行。训练集较小时就别微调了结合要使用的模型，这里可以把数据处理成char、word或者都用等有时将词性标注信息也加入训练数据会收到比较好的效果至于...
K-means聚类分析 SPSS 如何选取K值
05-17
在SPSS中进行K-means聚类分析时，选取合适的K值是非常重要的。一般情况下，我们可以采用以下两种方法来确定K值： 1. 手肘法：绘制K值与聚类误差平方和（SSE）之间的关系图，找到拐点，即为最优的K值。在SPSS中，可以通过菜单栏中的"图表" -> "散点图" -> "简单" -> "聚类"来绘制该图形。 2. 轮廓系数法：计算每个数据点的轮廓系数，然后取所有数据点轮廓系数的平均值作为该K值的轮廓系数，最后选取轮廓系数最大的K值作为最优的K值。在SPSS中，可以通过菜单栏中的"分析" -> "聚类" -> "K-means聚类" -> "选项" -> "轮廓系数"来进行计算。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值