机器学习算法⑦—【K-means】完成样本聚类任务

首先导入相应的模块：

import sklearn
from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA
import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt

再导入数据：

orders = pd.read_csv(r"E:\AI课程笔记\机器学习\orders.csv")
products = pd.read_csv(r"E:\AI课程笔记\机器学习\products.csv")
prior = pd.read_csv(r"E:\AI课程笔记\机器学习\order_products__prior.csv")
aisles = pd.read_csv(r"E:\AI课程笔记\机器学习\aisles.csv")
_mg = pd.merge(prior,products,on=['product_id','product_id'])
_mG = pd.merge(_mg,orders,on=['order_id','order_id'])
mt = pd.merge(_mG,aisles,on=['aisle_id','aisle_id'])

我们现在想要基于aisle的值对用户ID进行聚类，因此我们查看一下有多少数据特征：

接下来用交叉表，分析用户与aisle之间的关系：

cross = pd.crosstab(mt['user_id'],mt['aisle']) 
cross.shape

输出结果如下图所示：

数据特征维度超过100，因此我们需要对数据进行降维，这里我们采用主成分分析方法对数据进行降维：

pca = PCA(n_components=0.9)
data = pca.fit_transform(cross)
data.shape

由于数据量太大，为了节约程序运行时间，我们对数据进行切片操作

data_sample = data[:500]
data_sample.shape

结果如下：

缩小数据量后，再用K—means算法对数据进行聚类，这里我们指定分为4类：

km = KMeans(n_clusters=4)
km.fit(data_sample)
predict = km.predict(data_sample) #预测
predict #预测结果

结果如下：

最后我们用matplotlib函数去绘制聚类散点图：

import matplotlib.pyplot as plt
plt.figure(figsize=(10,10))
plt.scatter(data_sample[:,0],data_sample[:,1],c=predict)
#中文显示
plt.rcParams['font.sans-serif']=['SimHei']
plt.xlabel('聚类特征1')
plt.ylabel('聚类特征2')
plt.show()

输出结果如下：

最后我们使用轮廓系数来评估模型的性能：

# 聚类评估 轮廓系数 取值范围[-1,1] 越接近1 越合理
from sklearn.metrics import silhouette_score
score = silhouette_score(data_sample,predict)
score

结果如下：