【聚类】K-Means聚类（优缺点、手肘法、轮廓系数法、检测异常点、图像压缩，含代码实战）

最新推荐文章于 2024-04-27 09:51:16 发布
最新推荐文章于 2024-04-27 09:51:16 发布
阅读量1.2k 收藏 13
点赞数 15
分类专栏： 机器学习之聚类领域 文章标签： 聚类 kmeans 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/136938201
版权

写在前面：
首先感谢兄弟们的关注和订阅，让我有创作的动力，请一键三连，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

1、介绍

K-Means 是一种简单但功能强大的无监督学习算法，是一种常用的基于距离的聚类算法。K-means算法基本思想是将样本数据划分为K个类别，使得每个数据点与其所属类别的聚类中心之间的距离最小化，从而达到聚类的目的。K-Means 聚类算法可以用于客户类型划分、异常点检测和图像压缩等。

2、原理

K-Means 具体流程如下：

  1. 随机选择K个点作为初始聚类中心；
  2. 计算每个数据点与K个聚类中心的距离，并将其归到距离最近的聚类中心的类别中；
  3. 更新聚类中心的位置，将每个聚类中心的位置移动到其类别中所有点的均值位置；
  4. 重复第2和第3步，直到聚类中心不再改变或达到最大迭代次数。

3、K值选择

通常使用手肘法或者轮廓系数法确定K值。

3.1手肘法

SSE，sum of the squared errors，误差的平方和。在K-means 算法中，SSE 计算的是每类中心点与其同类成员距离的平方和。
在这里插入图片描述

基本思想：

随着聚类数k的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。

当k小于最佳聚类数时，k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大；

当k到达最佳聚类数时，再增加k所得到的聚合程度，回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓。

也就是说SSE和 k 的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的最佳聚类数。这也是该方法被称为手肘法的原因。

3.2轮廓系数法

轮廓系数（Silhouette Coefficient）结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。

在这里插入图片描述

求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1]，且簇内样本的距离越近，簇间样本距离越远，平均轮廓系数越大，聚类效果越好。那么，很自然地，平均轮廓系数最大的k便是最佳聚类数。

4、优缺点

4.1优点

（1）简单直观，容易理解：K-Means算法原理比较简单，实现容易，聚类效果也不错；

（2）处理大数据集效率高：处理大数据集的时候，该算法可以保证较好的伸缩性；

（3）可解释性强：每个簇都有一个中心点，可以用来解释和描述该簇的特征。

4.2缺点

（1）对初始簇中心敏感：不同的初始簇中心可能导致不同的聚类结果；

（2）K值需要人为设定：需要预先指定聚类的簇数K，这个值的选择通常比较困难，需要基于经验或尝试不同的值来确定；

（3）对噪声和异常值敏感：噪声和异常值可能会对K-Means算法的聚类结果产生较大的影响，导致簇的中心偏移或产生不理想的簇；

（4）不适合非凸形状簇：K-Means算法假设簇的形状是凸的（或至少是圆形的），对于非凸形状或形状大小差异较大的簇，可能无法得到好的聚类效果。

5、复杂度

时间复杂度： O(tknm)，其中，t 为迭代次数，k 为簇的数目，n 为样本点数，m 为样本点维度。

空间复杂度： O(m(n+k))，其中，k 为簇的数目，m 为样本点维度，n 为样本点数。

6、代码实战

6.1数据划分

# -*- coding: utf-8 -*-
"""
Created on Tue Mar 19 18:45:10 2024

@author: zqq
"""


from sklearn.datasets import make_blobs  
import joblib
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score


# 数据, 1000个样本点，3个簇
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[2,2],[4,4],[6,6]], cluster_std=[0.2,0.4,0.5], random_state=2)

# 查看原始数据
plt.figure()
plt.scatter(X[:,0], X[:,1], marker='o')
plt.show()

# 手肘法, 确定K值
SSE = []
k_min = 1
k_max = 10
for k in range(k_min, k_max):
    print("k:", k)
    kmeans_model = KMeans(n_clusters=k, random_state=10)
    kmeans_model.fit(X)
    SSE.append(kmeans_model.inertia_)
# 绘图
plt.figure()
plt.plot(range(k_min, k_max), SSE, marker='x')    
plt.title('The Elbow method')
plt.xlabel('k')
plt.ylabel('SSE')
plt.show()

# 轮廓系数法，确定K值
SC = []
k_min = 2  # 轮廓系数必须从2开始
k_max = 10
for k in range(k_min, k_max):
    print("k:", k)
    kmeans_model = KMeans(n_clusters=k, random_state=10)
    kmeans_model.fit(X)
    sc_score  = silhouette_score(X, kmeans_model.labels_)
    SC.append(sc_score)
# 绘图
plt.figure()
plt.plot(range(k_min, k_max), SC, marker='o')    
plt.title('The sihouette coefficient method')
plt.xlabel('k')
plt.ylabel('sihouette coefficient score')
plt.show() 

# 保存模型
kmeans_model = KMeans(n_clusters=3, random_state=10)
kmeans_model.fit(X)
joblib.dump(kmeans_model, 'kmeans_model.pkl')
y_pred = kmeans_model.predict(X)
plt.figure()
plt.scatter(X[:,0], X[:,1], c=y_pred, s=10)
plt.show()

手肘法：
在这里插入图片描述
轮廓系数法：
在这里插入图片描述
三类数据分布图：
在这里插入图片描述

6.2检测异常点

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 22 09:28:47 2024

@author: zqq
"""


from sklearn.cluster import KMeans
import numpy as np
from scipy.spatial.distance import cdist
import matplotlib.pyplot as plt


# 生成模拟数据
X = np.concatenate([np.random.normal(0, 1, (100, 2)), np.random.normal(10, 1, (10, 2))])

# 可视化样本
plt.figure()
x = X[:,0]
y = X[:,1]
# s散点的面积，c散点颜色
plt.scatter(x, y, s=10, c='red')
plt.show()
 
# KMeans算法拟合
kmeans_model = KMeans(n_clusters=2, random_state=0).fit(X)
 
# 聚类中心
centroids = kmeans_model.cluster_centers_
print("聚类中心:\n", centroids) 

# 每个样本到上述聚类中心的距离，欧式距离
D = cdist(X, centroids, 'euclidean')
 
# 每个样本的最近聚类中心索引
cluster_labels = D.argmin(axis=1)
 
# 设置一个阈值，超过这个阈值认为是离群点
threshold = 2.5
 
# 寻找离群点
outliers = [X[i] for i, d in enumerate(D) if d[cluster_labels[i]] > threshold]
 
# 打印离群点
print("Outliers:\n", outliers)

原始数据分布图：
在这里插入图片描述
给出的异常点数据：
在这里插入图片描述

6.3图像压缩

# -*- coding: utf-8 -*-
"""
Created on Fri Mar 22 09:54:47 2024

@author: zqq
"""


import numpy as np  
from sklearn.cluster import KMeans  
from PIL import Image  
import matplotlib.pyplot as plt  
  
# 加载图像并转换为numpy数组  
image = Image.open('flower.jpg').convert("RGB")

image_array = np.array(image)  
  
# 将图像数据重塑为二维数组，其中每一行是一个像素点的RGB值  
pixels = image_array.reshape(-1, 3)  
  
# 使用K-Means算法对像素进行聚类  
n_colors = 8  # 设置颜色数量，这将影响压缩率  
kmeans = KMeans(n_clusters=n_colors)  
kmeans.fit(pixels)  
  
# 使用K-Means聚类中心替换原始像素值  
compressed_pixels = kmeans.cluster_centers_[kmeans.labels_]  
  
# 将压缩后的像素值重塑回原始图像的形状  
compressed_image_array = compressed_pixels.reshape(image_array.shape)  
  
# 将压缩后的图像数组转换为图像对象  
compressed_image = Image.fromarray(np.uint8(compressed_image_array))  
  
# 显示原始图像和压缩后的图像  
plt.figure(figsize=(10, 5))  
  
plt.subplot(1, 2, 1)  
plt.imshow(image)  
plt.title('Original Image')  
  
plt.subplot(1, 2, 2)  
plt.imshow(compressed_image)  
plt.title(f'Compressed Image with {n_colors} colors')  
  
plt.show()  
  
# 保存压缩后的图像  
compressed_image.save('compressed_image.jpg')

原始图像：

在这里插入图片描述

压缩图像：
在这里插入图片描述

参考资料

https://blog.csdn.net/m0_62110645/article/details/134148972
https://zhuanlan.zhihu.com/p/78798251
https://zhuanlan.zhihu.com/p/619922019
https://blog.csdn.net/wsgzjdbb/article/details/106931273
https://blog.51cto.com/u_15060465/4297864
https://www.cnblogs.com/SpaldingWen/p/9960991.html
https://mp.weixin.qq.com/s/FRe7A6Zo9iX7IqOpYofLYg
https://blog.csdn.net/zly_Always_be/article/details/136109128
https://blog.csdn.net/qq_34448345/article/details/127407274
https://blog.csdn.net/wfh684066/article/details/81006472
https://zhuanlan.zhihu.com/p/54045059

机器不学习我学习
关注
  • 15
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习——K-Means聚类
T940842933的博客
08-01 3842
K-Means 算法是一种无监督的聚类算法，其核心思想是：对于给定的样本集，按照样本点之间的距离大小，将样本集划分为K个簇，并让簇内的点尽量紧凑，簇间的点尽量分开算法流程图如下：K-Means算法流程如图，以为例：我们需要将图(a) 中的样本点划分为两类，则K-means聚类过程如下：第 1 步：从M个数据对象中任意选择2个对象作为初始聚类中心，如图(b) 所示。
k-means_kmeans案例_k-means聚类算法_k-means实战_K._
09-29
k-means实战，包括一个具体的例子。非常适合初级学习k-means聚类算法的人群
聚类k值确定--肘部法则
m0_58625397的博客
03-01 1777
肘部法 k值确定
使用肘部法确定k-means聚类个数，归一化数据后进行聚类并获取每类的详细数据：Matlab代码及备注
vrppFIH的博客
04-15 234
在进行算法实现时，首先需要对数据进行归一化处理，这样可以消除数据之间的量纲差异，使得不同属性之间的数值可以进行比较和计算。接下来，我们可以设定一个聚类个数的范围，然后根据肘部法选择出最合适的聚类个数。总平方距离是每个数据点与其所属聚类中心的距离的平方的总和，它可以衡量聚类效果的好坏。通过Matlab编写的代码，我们可以灵活地应用于不同的数据集和问题，并获得相应的聚类结果。接着，我们可以编写k-means聚类的代码，通过设定聚类个数的范围，循环计算每个聚类个数下的总平方距离，并将结果保存下来。
用人话讲明白聚类算法kmeans
化简可得
07-28 1927
文章目录1.什么是聚类2.K-Means步骤3.K-Means的数学描述4.初始中心点怎么确定5.K值怎么确定6.小结 1.什么是聚类 先来回顾一下开篇就讲到的机器学习的种类。 监督式学习：训练集有明确答案，监督学习就是寻找问题（又称输入、特征、自变量）与答案（又称输出、目标、因变量）之间关系的学习方式。监督学习模型有两类，分类和回归。 • 分类模型：目标变量是离散的分类型变量； • 回归模型：...
K-means聚类模型（超详细，含案例代码）
JiaYu的博客
12-12 7204
K-means是一种常用的聚类算法，用于将数据集中的观测点分为不同的群组或簇。聚类是一种无监督学习方法，其目标是发现数据中隐藏的结构，将相似的数据点划分为同一组，同时将不相似的数据点划分为不同的组。
聚类的肘部是什么
m0_57236802的博客
11-30 585
在聚类分析中，特别是使用K-Means算法时，“肘部”(Elbow Method) 是一种用来帮助确定最佳聚类数量（即K值）的方法。这个名字来源于该方法产生的图形，它类似于人的手臂肘部的弯曲形状。简而言之，肘部方法是通过观察不同K值对聚类效果的影响，来寻找一个平衡点，即聚类既有意义又高效的点。这个方法虽然直观，但它有一定的主观性，因为“肘部”的确定并不总是非常明显。
K-Means聚类算法
热门推荐
软件工程小施同学 的专栏
06-14 5万+
什么是聚类分析聚类分析是数据挖掘中一个重要概念，其核心是寻找数据对象中隐藏的有价值的信息，根据相似性原则，把具有较高相似度的数据对象划分到同一类簇，把具有较高相异度的数据对象划分到不同类簇，从而使相同组中的数据点之间比其他组中的数据点更具有相似性。聚类算法典型的聚类算法分为三个阶段，主要包括特征选择和特征提取、数据对象间相似度计算以及根据相似度将数据对象分组。聚类算法可以分为两大类：层次聚类算法和划分聚类算法。层次聚类算法通过不同类别间的数据对象的相似度试图构建一个高层次的嵌套聚类树结构，聚类树的构建有两种
【机器学习】全面解析Kmeans聚类算法（Python）
fengdu78的博客
12-27 1万+
一、聚类简介Clustering (聚类)是常见的unsupervised learning (无监督学习)方法，简单地说就是把相似的数据样本分到一组（簇），聚类的过程，我们并不清楚某一类...
机器学习算法之K-means（K均值聚类）算法
tttaeyang的博客
10-08 6070
聚类 聚类，简单来说，就是将一个庞杂数据集中具有相似特征的数据自动归类到一起，称为一个簇，簇内的对象越相似，聚类的效果越好。它是一种无监督的学习(Unsupervised Learning)方法,不需要预先标注好的训练集。聚类与分类最大的区别就是分类的目标事先已知，例如猫狗识别，你在分类之前已经预先知道要将它分为猫、狗两个种类；而在你聚类之前，你对你的目标是未知的，同样以动物为例，对于一个动物集来...
基于K-means聚类算法的图像分割(MATLAB实现).rar_ASV聚类_K-Means图像分割_k means_rest
07-14
kmeans聚类图像分析 可用于图像的分割，效果比较好
聚类算法：K-means聚类图像分割
12-22
1 K-Means聚类 K-Means聚类是最常用的聚类算法，最初起源于信号处理，其目标是将数据点划分为K个类簇，找到每个簇的中心并使其度量最小化。该算法的最大优点是简单、便于理解，运算速度较快，缺点是只能应用于连续型数据，并且要在聚类前指定聚集的类簇数。 下面是K-Means聚类算法的分析流程，步骤如下： 第一步，确定K值，即将数据集聚集成K个类簇或小组。 第二步，从数据集中随机选择K个数据点作为质心（Centroid）或数据中心。 第三步，分别计算每个点到每个质心之间的距离，并将每个点划分到离最近质心的小组，跟定了那个质心。 第四步，当每个质心都聚集了一些点后，重新定义算法选出新的质心。
python基于K-means聚类算法的图像分割
09-18
主要介绍了python基于K-means聚类算法的图像分割，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Kmeans聚类算法-手肘法
01-08
Kmeans聚类算法-手肘法，jupyter notebook 编写，打开可以直接运行，使用iris等5个数据集，机器学习。
vcontact2：病毒聚类（失败）
m0_53945548的博客
04-24 240
【代码】vcontact2：病毒聚类（失败）
【机器学习】机器学习学习笔记 - 无监督学习 - k-means/均值漂移聚类/凝聚层次聚类/近邻传播聚类 - 05
一只慵懒的加菲喵~~
04-27 704
不限次数、免费不需要注册。单次不要传太大的文件，防止中断导致无法转换，上传之后过一段时间，右侧就会出现转换完成的word文档。需要注意的是180s之后还没有转换出来就是类容太多，拆分小一点转换即可。
复现SMO算法：理解SVM、SMO和高斯核【一、了解相关概念】
qq_22841387的博客
04-23 682
通过上述分析，我们了解了SVM、SMO算法和高斯核的基本概念及其相互关系。选择LIBSVM中的一个合适的数据集确保选择的数据集适合SVM处理，且数据量大于1000条以满足任务要求。了解数据集的特点，如特征数、类别数，这将有助于后续的算法配置。理解SMO算法原理深入研究SMO算法的工作机制，特别是它如何分解问题和求解每个小的优化问题。参考一些核心论文或权威书籍，以获得更系统的理解。
UPS、蓄电池、空开、电缆配置计算方法.pptx
最新发布
04-27
5G通信行业、网络优化、通信工程建设资料
K-Means聚类步骤
05-26
K-Means聚类步骤如下： 1. 随机选择k个质心，这些质心将作为聚类的中心点。 2. 将数据集中的每个点分配给最近的质心，形成k个簇。 3. 计算每个簇的平均值，将这些平均值作为新的质心。 4. 重复步骤2和步骤3，直到质心不再改变或达到预定的迭代次数。 5. 最终得到k个簇，每个簇包含一组相似的数据点。 K-Means聚类的关键是如何选择k值，以及如何初始化质心。常见的选择k值的方法有手肘法和轮廓系数法。初始化质心的方法也有很多，一般来说可以随机选择数据集中的k个点作为质心，或者根据一定的规则选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值