聚类实战：从PCA降维到K-Means和DBSCAN的完整指南

已于 2024-10-18 21:58:53 修改
阅读量4k 收藏 55
点赞数 61
文章标签： 聚类 kmeans 数据挖掘
于 2024-04-03 13:08:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41815347/article/details/137341743
版权

在数据科学的众多领域中，聚类算法无疑是探索数据集内在结构的强大工具。本文将带您深入了解如何应用主成分分析（PCA）进行降维，以及如何使用K-Means和DBSCAN这两种流行的聚类算法，来揭示数据的隐藏模式。

代码开源地址👉：

源码地址icon-default.png?t=O83Ahttps://www.yuque.com/yuqueyonghuik8ysz/gxfuvi/gtih647ap8ric62h?singleDoc#

一、PCA降维：理论到实践

在处理高维数据时，直观理解数据结构往往是一个挑战。这时，PCA就显得尤为重要。PCA是一种降维技术，能够将数据从原始的高维空间转换到低维空间，同时尽可能保留数据的变异性。

实践步骤：

  1. 导入必要的库：首先，我们需要导入Pandas用于数据处理，NumPy进行数值计算，以及sklearn.decomposition中的PCA。
  2. 标准化数据：PCA对数据的规模非常敏感，因此在应用PCA之前，先使用sklearn.preprocessing.StandardScaler对数据进行标准化。
  3. 应用PCA：接下来，实例化PCA对象，选择合适的组件数量，然后对数据集进行拟合和转换。

二、K-Means聚类：寻找数据的自然分组

K-Means算法通过将数据点分配到K个簇中，使得簇内的数据点尽可能相似，簇间的数据点尽可能不同，从而发现数据的自然分组。

实践步骤：

  1. 选择K值：K是事先设定的簇的数量。Yellowbrick库的KElbowVisualizer可以帮助我们通过肘部法则选择一个合适的K值。
  2. 应用K-Means：使用sklearn.cluster.KMeans，根据选择的K值对数据进行聚类。
  3. 结果分析：分析各个簇的特征，以及簇中心，从而对数据进行解释。

三、DBSCAN聚类：基于密度的聚类方法

与K-Means不同，DBSCAN不需要预先指定簇的数量。它通过识别被低密度区域分隔的高密度区域，来形成簇。

实践步骤：

  1. 参数设置：DBSCAN的主要参数是eps和min_samples，分别代表搜索邻居的半径和形成密集区域所需的最小样本数。
  2. 应用DBSCAN：使用sklearn.cluster.DBSCAN对数据应用DBSCAN算法。
  3. 结果分析：识别核心样本、边界点和噪声点，分析每个簇的特性。

数据可视化：理解聚类结果

无论是PCA降维还是聚类，数据可视化都是理解结果的关键。Matplotlib和Seaborn提供了丰富的可视化工具，帮助我们深入理解数据集的潜在模式。

  1. PCA结果可视化：通过绘制PCA降维后的散点图，观察数据点在低维空间的分布。
  2. K-Means聚类可视化：使用散点图显示不同簇的数据点，以及簇中心。
  3. DBSCAN结果可视化：标识出核心点、边界点和噪声点，理解数据的密度结构。

第一步，导入数据

以市场营销数据集为例，其中包含了客户的个人信息、购买行为以及对营销活动的响应。

每行代表一个客户，以下是每列的简要描述：

  • ID：客户的唯一标识符。
  • Year_Birth：客户的出生年份。
  • Education：客户的教育水平（如Graduation、PhD等）。
  • Marital_Status：客户的婚姻状况（如Single、Married、Together等）。
  • Income：客户的年收入。
  • Kidhome：家中有小孩的数量。
  • Teenhome：家中有青少年的数量。
  • Dt_Customer：客户首次成为公司客户的日期。
  • Recency：自客户最后一次购买以来的天数。
  • MntWines：过去两年内购买葡萄酒的金额。
  • 以下省略的列可能包括对其他产品类别的支出（如肉类、鱼类、甜品等），在线访问频次，以及对几轮特定营销活动的响应情况（如AcceptedCmp1、AcceptedCmp2等）。
  • NumWebVisitsMonth：过去一个月内访问公司网站的次数。
  • AcceptedCmp3、AcceptedCmp4、AcceptedCmp5、AcceptedCmp1、AcceptedCmp2：表示客户是否接受了第3、4、5、1、2轮的营销活动。
  • Complain：客户是否在最近两年内投诉过。
  • Z_CostContact、Z_Revenue：这两列的含义不太清楚，可能是与客户联系的成本和产生的收益相关的内部指标。
  • Response：客户对最近一次营销活动的响应（1表示接受，0表示未接受）。
data = pd.read_csv("data.csv")
print("Number of datapoints:", len(data))
data.head()

查看数据

ID	Year_Birth	Education	Marital_Status	Income	Kidhome	Teenhome	Dt_Customer	Recency	MntWines	...	NumWebVisitsMonth	AcceptedCmp3	AcceptedCmp4	AcceptedCmp5	AcceptedCmp1	AcceptedCmp2	Complain	Z_CostContact	Z_Revenue	Response
0	5524	1957	Graduation	Single	58138.0	0	0	04-09-2012	58	635	...	7	0	0	0	0	0	0	3	11	1
1	2174	1954	Graduation	Single	46344.0	1	1	08-03-2014	38	11	...	5	0	0	0	0	0	0	3	11	0
2	4141	1965	Graduation	Together	71613.0	0	0	21-08-2013	26	426	...	4	0	0	0	0	0	0	3	11	0
3	6182	1984	Graduation	Together	26646.0	1	0	10-02-2014	26	11	...	6	0	0	0	0	0	0	3	11	0
4	5324	1981	PhD	Married	58293.0	1	0	19-01-2014	94	173	
palette = ["#FF6B6B", "#FDD835", "#1DE9B6", "#81D4FA", "#B39DDB", "#FF8A65"]
To_Plot = [ "Income", "Recency", "Customer_For", "Age", "Spent", "Is_Parent"]
print("Reletive Plot Of Some Selected Features: A Data Subset")

# 绘制图形
plt.figure()
sns.pairplot(data[To_Plot], hue="Is_Parent", palette=palette)
plt.show()

第二步，计算相关性矩阵

data_encoded = pd.get_dummies(data, drop_first=True)

# 计算相关性矩阵
corrmat = data_encoded.corr()

# 设置图形的风格和大小
plt.figure(figsize=(20, 20))
sns.heatmap(corrmat, annot=True, cmap='viridis', center=0)

# 显示图形
plt.show()

三步，PCA降维

pca = PCA(n_components=3)
pca.fit(scaled_ds)
PCA_ds = pd.DataFrame(pca.transform(scaled_ds), columns=(["col1","col2", "col3"]))
PCA_ds.describe().T

查看降维后的数据分布

x =PCA_ds["col1"]
y =PCA_ds["col2"]
z =PCA_ds["col3"]
fig = plt.figure(figsize=(10,8))
ax = fig.add_subplot(111, projection="3d")
ax.scatter(x,y,z, c="maroon", marker="o" )
ax.set_title("A 3D Projection Of Data In The Reduced Dimension")
plt.show()

第四步，使用KElbowVisualizer计算需要聚类的种类

Elbow_M = KElbowVisualizer(KMeans(), k=10)
Elbow_M.fit(PCA_ds)
Elbow_M.show()

第五步，Agglomerative聚类

AC = AgglomerativeClustering(n_clusters=4)
yhat_AC = AC.fit_predict(PCA_ds)
PCA_ds["Clusters"] = yhat_AC
data["Clusters"]= yhat_AC

第六步，DBSCAN聚类

dbscan = DBSCAN(eps=0.5, min_samples=5)
dbscan_labels = dbscan.fit_predict(scaled_ds)
data['DBSCAN_cluster'] = dbscan_labels

第七步，KMeans聚类

k = 5  # Example number of clusters
kmeans = KMeans(n_clusters=k, random_state=42)
kmeans_labels = kmeans.fit_predict(scaled_ds)
centroids = kmeans.cluster_centers_

大雷科技
关注
k-means_K-Means算法实现_K._聚类可视化_数据可视化、_
10-01
K-means原理分析与算法实现，对给出的一些数据点能够实现K-means聚类并可视化
聚类算法——主成分分析（PCA）
热门推荐
CBF_genominer的博客
05-05 2万+
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。当然我并不打算把文章写成纯数学文章
机器学习：对鸢尾花数据进行PCA降维后使用k-means聚类
m0_56970979的博客
04-26 580
【代码】机器学习：对鸢尾花数据进行PCA降维后使用k-means聚类。
PCA、LDA、Kmeans、SVD/EVD、谱聚类之间的关系
songbinxu的博客
06-30 3949
PCA、LDA、Kmeans、SVD/EVD、谱聚类之间的关系  最近在研究谱聚类时，迁移到主成分分析（PCA），发现两者有着惊人的相似之处，同时还牵扯到Kmeans、SVD，甚至LDA也有相通的地方（虽然LDA是有监督学习），因此在这里写一篇总结，描述一下以上各个模型之间的共通性，有助于加深对这一类无监督学习算法的理解。 PCA与SVD/EVD的关系   首先，从SVD入手： X(d...
吴恩达机器学习：聚类与降维 （K-means & PCA）总结与作业
weixin_44330777的博客
09-27 5411
（一）聚类：简介K均值算法（ K-Means Algorithm ） 聚类算法将样本聚类分成不同的簇（cluster），其中K-means是最普及的一种聚类算法，它的思想其实就是迭代，假设我们想要将数据聚类成k个簇，其步骤为: 首先选择K个随机的点，称为聚类中心（cluster centroids）；（如图a,b，以K=2为例） 对于数据集中的每个点，按照与聚类中心的距离，将其与距离最近的聚类中心点聚成一类；（如图c） 计算每一个组的平均值（重心位置），将该组所关联的中心点移动到平均值的位置；（
降维算法之PCA及其实战
huahuaxiaoshao的博客
01-07 1487
      主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。为什么说PCA应用广泛呢？PCA是一种无监督算法，也就是我们不需要标签也能对数据做降维，这就使得其应用范围更加广泛了。一般我们提到降维最容易想到的算法就是PCA，...
PCA-kmeans分析
pengbr的博客
12-11 287
可以看到右边的4号点、中间的17号点、左边的32点相差较大，所以它们的特征也就会相差较大。而4、5、6号点这种比较接近的点特征就比较相似。由于特征数比较少，我发现一个特征的可解释性方差就达到了99%，为了后续可视化，我采取了降维到2个特征。符合之前pca降维后的情况。pca主要用于数据的降维及可视化，kmeans可以对相似的特征进行聚类。pca处理的二维矩阵数据，行数代表样本的个数，列数代表特征的个数，特征的个数等于维数。我将4、17、32号点的年土壤体积含水量绘制出来，进而看看它们之间特征有些什么不同。
PCA聚类算法
qinglv1的博客
06-08 6013
1.可以参考文章：   自己去搜索相关的介绍，我只是写一些需要注意的地方2.PCA与线性回归的区别：    线性回归有一个拟合值，它的误差是红线代表线性回归的误差但是对于PCA算法来说：3.数据处理：    特征什么的进行归一化(或者叫做特征缩放)4.在数学上面的表示(奇异值分解)SVD    在matlab里面或者octave里面有一个现成的svd()函数：在这里的Sigma代表一个矩阵，对于s...
6、Kmeans、PCA聚类算法
qq_34514046的博客
08-23 364
          PCA：把原来100维的有意义特征映射到10维无实际物理意义的项      
机器学习-PCA与聚类算法
wenffe的博客
12-21 1756
1. 主成分分析(Principal Components Analysis) 1.1 原理 PCA是一种降维算法，通过最大化样本集在某一个方向投影值的平方和，来找到主轴方向，主轴是对称方阵1m∑i=1kx(i)(x(i))T\frac{1}{m}\sum_{i=1}^k{x^{(i)}(x^{(i)})^T}m1​∑i=1k​x(i)(x(i))T的特征向量方向，取前k个最大投影值平方和所对...
[Python从零到壹] 十三.机器学习之聚类算法四万字总结全网首发（K-Means、BIRCH、树状聚类、MeanShift）
杨秀璋的专栏
07-06 1万+
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望
聚类算法（K-Means和DBSCAN）
晓海的博客
12-29 5672
聚类算法（K-Means和DBSCAN） 目录 一、无监督学习与聚类算法 1、旨在理解数据自然机构的聚类 2、用于数据处理的聚类 二、核心概念 1、聚类分析 2、簇 三、基于原型的技术：K-Means 1、基于原型的簇 2、K-means的基本定义 3、算法执行细节 四、使用sklearn实现K-Means 1、重要参数：n_clusters 2、聚类算法的模型评估指标：轮廓系数 3、案例：基础轮...
NLP：文本聚类【PCA--＞K-means】
u013250861的博客
02-23 2348
什么是文本聚类？ 文本聚类是将一个个文档由原有的自然语言文字信息转化成数学信息，以高维空间点的形式展现出来，通过计算那些点距离比较近来将那些点聚成一个簇，簇的中心叫做簇心。一个好的聚类要保证簇内点的距离尽量的近，但簇与簇之间的点要尽量的远。 文本聚类的难点是什么？ 聚类是一种非监督学习，也就是说聚成几类，怎么聚，我们都不知道，只能一点点试出来。但是有时候机器认为这两堆点可以认为是两个簇，但人理解可能是一个簇，文本聚类就就难在了这里，机器与人的理解不太一样。一般能看到这个博的人都学过基本的聚类算法，拿k-me
数据处理和分析之数据聚类：K-means聚类：数据预处理技术
最新发布
2401_87715305的博客
10-18 925
聚类算法是一种无监督学习方法，用于将数据集中的样本分组到不同的簇中，使得同一簇内的样本彼此相似，而不同簇的样本彼此相异。这种技术广泛应用于数据挖掘、机器学习和统计分析中，用于模式识别、数据压缩、图像分析和生物信息学等领域。
数据处理和分析之数据聚类：K-means聚类：机器学习概论
2401_87715305的博客
10-18 789
聚类算法是一种无监督学习方法，用于将数据集中的对象分组到不同的簇(cluster)中，使得簇内的对象彼此相似，而簇间的对象差异较大。这种相似性通常基于数据点之间的距离度量。聚类的目标是发现数据的内在结构，从而对数据进行有效的组织和理解。
基础算法---主成分分析PCA聚类
DXdaxian的博客
05-18 4152
PCA原理 什么是主成分分析 如果一个数据集有1w个特征，针对研究目标，不可能分析每一个特征；有些特征间存在高度相关性，相关系数可能高达95%；有些特征是另一些特征的子集；因此需要降维，去掉作用较小的特征。 PCA中的数学一：向量的内积 向量默认是列向量 A和B的单位向量B’的内积，就会A在B上的投影 PCA中的数学二：基 线性无关：向量正交。正交向量的内积等于0。 将图中这组基（蓝色），旋转任意角度，都可以成为一组新的基 PCA中的数学三：基变换 同理，（3，2）和单位向量y1’、y2’的内积，就
结合PCA降维的DBSCAN聚类方法（附Python代码）
追星，但也不要忘了土地
04-15 3533
PCA，全称，即主成分分析。是一种降维方法，实现途径是提取特征的主要成分，从而在保留主要特征的情况下，将高维数据压缩到低维空间。在经过PCA处理后得到的低维数据，其实是原本的高维特征数据在某一低维平面上的投影只要维度较低，都可以视为平面，例如三维相对于四维空间也可以视为一个平面）。虽然降维的数据能够反映原本高维数据的大部分信息，但并不能反映原本高维空间的全部信息，因此要根据实际情况，加以鉴别使用。本篇文章主要介绍了PCA降维、DBSCAN聚类这两个机器学习操作的基本原理，以及两者。
降维和聚类理解
weixin_41767872的博客
10-09 859
SOM不同于传统的聚类算法，它通过在高维输入空间中构建一个低维的自组织网络，将数据点映射到该网络上，并利用竞争学习来实现数据的聚类和可视化。需要注意的是，FCM的结果受到初始中心的选择、聚类数K的选择和停止条件的设置等参数的影响。：对于每个数据点和每个聚类中心，计算数据点属于该聚类的隶属度，通常使用模糊度量函数，如欧氏距离或马氏距离的函数形式。需要注意的是，SOM的性能和结果受到网络结构、学习率、停止条件等参数的选择影响，因此需要仔细调整这些参数以获得最佳的结果。这个过程被称为竞争学习。
利用主成分分析降维后再利用kmean聚类进行分类
09-10 5560
这三天参加了数学建模，我们选择的是第一题。是《葡萄酒的评价》主要是对数据的处理的过程，应为是数学建模，所以我选择的编译器也为matlab， 对于第二题的葡萄的分级，即根据给出的数据，对现有的样本进行分类，然后对各类进行分级，因为数据量很大，我首先利用了pca进行了降维处理，对于27个样本的61个数据信息，利用PCA降维得到了12个主成分（为使贡献率达到85%以上），并且利用各自
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值