聚类算法！

使用不同的聚类准则，产生的聚类效果不同

聚类算法简介

一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。

在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法：欧氏距离法

聚类算法api

import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score
# 创建数据集
# X为样本特征，Y为样本簇类别， 共1000个样本，每个样本2个特征，共4个簇，
# 簇中⼼在[-1,-1], [0,0],[1,1], [2,2]， 簇⽅差分别为[0.4, 0.2, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
cluster_std=[0.4, 0.2, 0.2, 0.2],
random_state=9)
# 数据集可视化
# plt.scatter(X[:, 0], X[:, 1], marker='o')
# plt.show()

# # kmeans训练,聚类为2
# y_pre = KMeans(n_clusters=2, random_state=9).fit_predict(X)
# # 可视化
# plt.scatter(X[:, 0], X[:, 1], c=y_pre)
# plt.show()
# # 通过ch_score查看最后效果
# print(calinski_harabasz_score(X,y_pre))


# kmeans训练,聚类为4
y_pre = KMeans(n_clusters=4, random_state=9).fit_predict(X)
# 可视化
plt.scatter(X[:, 0], X[:, 1], c=y_pre)
plt.show()
# 通过ch_score查看最后效果
print(calinski_harabasz_score(X,y_pre))

 聚类算法实现流程

K-means

K：初始中心点个数（计划聚类数）

means：求中心点到其他数据点距离的平均值

具体流程

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别

3、接着对每一类别的点重新计算出新中心点（平均值）

4、如果计算出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二部过程

模型评估

误差平方和

真实值与预测值差的平方之和

在K-means中计算距离，SSE的值越小越好

“肘方法”-K值确定

 轮廓系数法

结合了聚类的凝聚度和分离度，用于评估聚类的效果

目的：追求内部距离最小化，外部距离最大化

 CH系数

 分数s越高则聚类效果越好

CH需要达到的目的：用尽量少的类别聚类尽量多的样本，同时获得较好的聚类效果

特征工程：特征降维

降维是指在某些限定条件下，降低随机变量（特征）的个数，得到一组“不相关”著变量的过程

特征选择

从原有特征中找到主要特征

Filter（过滤式）：主要探究特征本身特点，特征与特征和目标值之间关联

方差选择法：低方差特征过滤

相关系数

Embedded（嵌入式）：算法自动选择特征（特征与目标值之间的关联）

决策树：信息熵、信息增益

正则化：L1，L2

深度学习：卷积等

低方差过滤

删除低方差的一些特征

 

 相关系数-皮尔逊相关系数

 相关系数在-1到1之间，越接近1和-1越相关；越接近0越不相关

api

 

相关系数- 斯皮尔曼相关系数

 在-1到1之间，越接近1和-1越相关；越接近0越不相关

from scipy.stats import spearmanr

spearmanr(x1, x2)

主成分分析 PCA

定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量

作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息

应用：回归分析或者聚类分析

api

总结

优点：

原理简单，实现容易

聚类效果中上（依赖K的选择）

空间复杂度o(N)，时间复杂度o(IKN)

缺点：

对离群点、噪声敏感

很难发现大小差别很大的簇及进行增量计算

结果不一定是全局最优，只能保证局部最优（与K的个数及初始值的选取有关）