使用不同的聚类准则,产生的聚类效果不同
聚类算法简介
一种典型的无监督学习算法,主要用于将相似的样本自动归到一个类别中。
在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中,对于不同的相似度计算方法,会得到不同的聚类结果,常用的相似度计算方法:欧氏距离法
聚类算法api
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score
# 创建数据集
# X为样本特征,Y为样本簇类别, 共1000个样本,每个样本2个特征,共4个簇,
# 簇中⼼在[-1,-1], [0,0],[1,1], [2,2], 簇⽅差分别为[0.4, 0.2, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
cluster_std=[0.4, 0.2, 0.2, 0.2],
random_state=9)
# 数据集可视化
# plt.scatter(X[:, 0], X[:, 1], marker='o')
# plt.show()
# # kmeans训练,聚类为2
# y_pre = KMeans(n_clusters=2, random_state=9).fit_predict(X)
# # 可视化
# plt.scatter(X[:, 0], X[:, 1], c=y_pre)
# plt.show()
# # 通过ch_score查看最后效果
# print(calinski_harabasz_score(X,y_pre))
# kmeans训练,聚类为4
y_pre = KMeans(n_clusters=4, random_state=9).fit_predict(X)
# 可视化
plt.scatter(X[:, 0], X[:, 1], c=y_pre)
plt.show()
# 通过ch_score查看最后效果
print(calinski_harabasz_score(X,y_pre))
聚类算法实现流程
K-means
K:初始中心点个数(计划聚类数)
means:求中心点到其他数据点距离的平均值
具体流程
1、随机设置K个特征空间内的点作为初始的聚类中心
2、对于其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心点作为标记类别
3、接着对每一类别的点重新计算出新中心点(平均值)
4、如果计算出的新中心点与原中心点一样(质心不再移动),那么结束,否则重新进行第二部过程
模型评估
误差平方和
真实值与预测值差的平方之和
在K-means中计算距离,SSE的值越小越好
“肘方法”-K值确定
轮廓系数法
结合了聚类的凝聚度和分离度,用于评估聚类的效果
目的:追求内部距离最小化,外部距离最大化
CH系数
分数s越高则聚类效果越好
CH需要达到的目的:用尽量少的类别聚类尽量多的样本,同时获得较好的聚类效果
特征工程:特征降维
降维是指在某些限定条件下,降低随机变量(特征)的个数,得到一组“不相关”著变量的过程
特征选择
从原有特征中找到主要特征
Filter(过滤式):主要探究特征本身特点,特征与特征和目标值之间关联
方差选择法:低方差特征过滤
相关系数
Embedded(嵌入式):算法自动选择特征(特征与目标值之间的关联)
决策树:信息熵、信息增益
正则化:L1,L2
深度学习:卷积等
低方差过滤
删除低方差的一些特征
相关系数-皮尔逊相关系数
相关系数在-1到1之间,越接近1和-1越相关;越接近0越不相关
api
相关系数- 斯皮尔曼相关系数
在-1到1之间,越接近1和-1越相关;越接近0越不相关
from scipy.stats import spearmanr
spearmanr(x1, x2)
主成分分析 PCA
定义:高维数据转化为低维数据的过程,在此过程中可能会舍弃原有数据、创造新的变量
作用:是数据维数压缩,尽可能降低原数据的维数(复杂度),损失少量信息
应用:回归分析或者聚类分析
api
总结
优点:
原理简单,实现容易
聚类效果中上(依赖K的选择)
空间复杂度o(N),时间复杂度o(IKN)
缺点:
对离群点、噪声敏感
很难发现大小差别很大的簇及进行增量计算
结果不一定是全局最优,只能保证局部最优(与K的个数及初始值的选取有关)