机器学习_无监督学习之聚类

you_are_my_sunshine*

已于 2024-08-24 15:29:55 修改

阅读量1.1k

点赞数 23

分类专栏：机器学习文章标签：机器学习学习聚类

于 2024-01-31 00:32:16 首次发布

本文链接：https://blog.csdn.net/weixin_42504788/article/details/135943852

版权

机器学习专栏收录该内容

22 篇文章 1 订阅

订阅专栏

文章目录

介绍机器学习下的分类
K均值算法
K值的选取:手肘法
用聚类辅助理解营销数据
贴近项目实战

介绍机器学习下的分类

在这里插入图片描述
以下介绍无监督学习之聚类
聚类是最常见的无监督学习算法。人有归纳和总结的能力，机器也有。聚类就是让机器把数据集中的样本按照特征的性质分组，这个过程中没有标签的存在。

聚类和监督学习中的分类问题有些类似，其主要区别在于：传统分类问题“概念化在前”。机器首先是学习概念，然后才能够做分类、做判断。

而聚类不同，虽然本质上也是“分类”，但是“概念化在后”或者“不概念化”，在给一堆数据分组时，没有任何此类、彼类的概念。

聚类也有好几种算法，K均值(K-means)是其中最常用的一种。

K均值算法

K均值算法是最容易理解的无监督学习算法。算法简单，速度也不差，但需要人工指定K值，也就是分成几个聚类。具体算法流程如下。

(1)首先确定K的数值，比如5个聚类，也叫5个簇。
(2)然后在一大堆数据中随机挑选K个数据点，作为簇的质心(centroid )。这些随机质心当然不完美，别着急，它们会慢慢变得完美。
(3)遍历集合中每一个数据点，计算它们与每一个质心的距离(比如欧氏距离)。数据点离哪个质心近，就属于哪一类。此时初始的K个类别开始形成。
(4)这时每一个质心中都聚集了很多数据点，于是质心说，你们来了，我就要“退役”了(这个是伟大的“禅让制度”啊!)，选一个新的质心吧。然后计算出每一类中最靠近中心的点，作为新的质心。此时新的质心会比原来随机选的靠谱一些(等会儿用图展示质心的移动)。
(5)重新进行步骤(3)，计算所有数据点和新的质心的距离，在新的质心周围形成新的簇分配(“吃瓜群众”随风飘摇，离谁近就跟谁)。
(6)重新进行步骤(4)，继续选择更好的质心(一代一代地“禅让”下去)。
(7)一直重复进行步骤(5)和(6),不断更新簇中的数据点，不断找到新的质心，直至收敛。

通过下面这个图，可以看到聚类中质心的移动和簇形成的过程。
在这里插入图片描述

K值的选取:手肘法

直观的手肘法(elbow method )进行簇的数量的确定。手肘法是基于对聚类效果的一个度量指标来实现的，这个指标也可以视为一种损失。在K值很小的时候，整体损失很大，而随着K值的增大，损失函数的值会在逐渐收敛之前出现一个拐点。此时的K值就是比较好的值。
大家看下面的图，损失随着簇的个数而收敛的曲线有点像只手臂，最佳K值的点像是手肘，因此取名为手肘法。
在这里插入图片描述

用聚类辅助理解营销数据

1.问题定义:为客户分组
(1)通过这个数据集，理解K均值算法的基本实现流程。
(2)通过K均值算法，给客户分组，了解每类客户消费能力的差别。

2.数据读入

import numpy as np # 导入NumPy
import pandas as pd # 导入pandas
import warnings
warnings.filterwarnings("ignore")

dataset = pd.read_csv('../数据集/Customers Cluster.csv')
dataset.head() # 显示一些数据

# 只针对两个特征进行聚类，以方便二维的展示
X= dataset.iloc[:, [2,4]].values

在这里插入图片描述

Spending Score:消费分数(归一化成一个0~1的分数)

3.聚类的拟合
下面尝试用不同的K值进行聚类的拟合:

from sklearn.cluster import KMeans # 导入聚类模型
cost=[] # 初始化损失(距离)值
for i in range(1,11): # 尝试不同的K值
    kmeans = KMeans(n_clusters= i, init='k-means++', random_state=0)
    kmeans.fit(X) # 拟合模型
    cost.append(kmeans.inertia_) #inertia_是度量数据点到聚类中心的度量公式

4.绘制手肘图

import matplotlib.pyplot as plt # 导入Matplotlib
import seaborn as sns  # 导入Seaborn
%matplotlib inline
# 绘制手肘图 
plt.plot(range(1,11), cost)
plt.title('The Elbow Method')
plt.xlabel('no of clusters')
plt.ylabel('Cost')
plt.show()

在这里插入图片描述

从手肘图上判断，肘部数字大概是3或4，我们选择4作为聚类个数

# 构建聚类模型
kmeansmodel = KMeans(n_clusters= 4, init='k-means++') # 选择4作为聚类个数
y_kmeans= kmeansmodel.fit_predict(X) # 进行聚类的拟合和分类

5.把分好的聚类可视化

# 把分好的聚类可视化
plt.scatter(X[y_kmeans == 0, 0], X[y_kmeans == 0, 1], s = 100, c = 'red', label = 'Cluster 1')
plt.scatter(X[y_kmeans == 1, 0], X[y_kmeans == 1, 1], s = 100, c = 'blue', label = 'Cluster 2')
plt.scatter(X[y_kmeans == 2, 0], X[y_kmeans == 2, 1], s = 100, c = 'green', label = 'Cluster 3')
plt.scatter(X[y_kmeans == 3, 0], X[y_kmeans == 3, 1], s = 100, c = 'cyan', label = 'Cluster 4')
# plt.scatter(X[y_kmeans == 4, 0], X[y_kmeans == 4, 1], s = 100, c = 'magenta', label = 'Cluster 5')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s = 300, c = 'yellow', label = 'Centroids')
plt.title('Clusters of customers')
plt.xlabel('Age')
plt.ylabel('Spending Score')
plt.legend()
plt.show()