聚类算法学习总结

一、基本理解

        一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。

二、API

klearn.cluster.KMeans(n_clusters=8)

参数:n_clusters:开始的聚类中心数量整型，缺省值=8，生成的聚类数，即产生的质心（centroids）数。

方法:estimator.fit(x)

        estimator.predict(x)

        estimator.fit_predict(x)  把训练和预测合并到一起

计算聚类中心并预测每个样本属于哪个类别,相当于先调用fit(x),然后再调用predict(x)

基本聚类算法：

import matplotlib.pyplot as plt
# from sklearn.datasets.samples_generator import make_blobs 已经废弃
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
# from sklearn.metrics import calinski_harabaz_score
from sklearn.metrics import calinski_harabasz_score
# 创建数据集
# X为样本特征，Y为样本簇类别， 共1000个样本，每个样本4个特征，共4个簇，
# 簇中心在[-1,-1], [0,0],[1,1], [2,2]， 簇方差分别为[0.4, 0.2, 0.2, 0.2]
X, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1, -1], [0, 0], [1, 1], [2, 2]],
                  cluster_std=[0.4, 0.2, 0.2, 0.2],
                  random_state=9)

# 数据集可视化
plt.scatter(X[:, 0], X[:, 1], marker='o')
plt.show()
y_pred = KMeans(n_clusters=4, random_state=9).fit_predict(X)
# 分别尝试n_cluses=2\3\4,然后查看聚类效果
plt.scatter(X[:, 0], X[:, 1], c=y_pred)
plt.show()

# 用Calinski-Harabasz Index评估的聚类分数
print(calinski_harabasz_score(X, y_pred))

三、 k-means聚类步骤

1、随机设置K个特征空间内的点作为初始的聚类中心

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）

4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程

案例： 

• 1、随机设置K个特征空间内的点作为初始的聚类中心（本案例中设置p1和p2）

 

2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别

 

 

3、接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点（平均值）

 

4、如果计算得出的新中心点与原中心点一样（质心不再移动），那么结束，否则重新进行第二步过程【经过判断，需要重复上述步骤，开始新一轮迭代】

 

5、当每次迭代结果不变时，认为算法收敛，聚类完成，K-Means一定会停下，不可能陷入一直选质心的过程。

 

四、模型评估 

1 、误差平方和(SSE）

举例:(下图中数据-0.2, 0.4, -0.8, 1.3, -0.7, 均为真实值和预测值的差)

在k-means中的应用:

 

 

• SSE图最终的结果,对图松散度的衡量.SSE(左图)<SSE(右图)

• SSE随着聚类迭代,其值会越来越小,直到最后趋于稳定
• 如果质心的初始值选择不好,SSE只会达到一个不怎么好的局部最优解.

 2 、“肘”方法 (Elbow method) — K值确定 

 

（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中心的距离的平方和；

（2）平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。

（3）在这个平方和变化过程中，会出现一个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。

在决定什么时候停止训练时，肘形判据同样有效，数据通常有更多的噪音，在增加分类无法带来更多回报时，我们停止增加类别。

3 、轮廓系数法（Silhouette Coefficient）

结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果：

目的：​内部距离最小化，外部距离最大化

 

4、CH系数（Calinski-Harabasz Index）

Calinski-Harabasz：

类别内部数据的协方差越小越好，类别之间的协方差越大越好（换句话说：类别内部数据的距离平方和越小越好，类别之间的距离平方和越大越好），

这样的Calinski-Harabasz分数s会高，分数s高则聚类效果越好。

tr为矩阵的迹, Bk为类别之间的协方差矩阵，Wk为类别内部数据的协方差矩阵;

m为训练集样本数，k为类别数。

使用矩阵的迹进行求解的理解：

矩阵的对角线可以表示一个物体的相似性

在机器学习里，主要为了获取数据的特征值，那么就是说，在任何一个矩阵计算出来之后，都可以简单化，只要获取矩阵的迹，就可以表示这一块数据的最重要的特征了，这样就可以把很多无关紧要的数据删除掉，达到简化数据，提高处理速度。

CH需要达到的目的：

​ 用尽量少的类别聚类尽量多的样本，同时获得较好的聚类效果。

 五、算法优化

1、 Canopy算法配合初始聚类

2、 K-means++ 

kmeans++目的，让选择的质心尽可能的分散

如下图中，如果第一个质心选择在圆心，那么最优可能选择到的下一个点在P(A)这个区域（根据颜色进行划分）

 3 、二分k-means

1.所有点作为一个簇

2.将该簇一分为二

3.选择能最大限度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇。

4.以此进行下去，直到簇的数目等于用户给定的数目k为止。

4 、k-medoids（k-中心聚类算法） 

K-medoids和K-means是有区别的，不一样的地方在于中心点的选取

• K-means中，将中心点取为当前cluster中所有数据点的平均值，对异常点很敏感!

• K-medoids中，将从当前cluster 中选取到其他所有（当前cluster中的）点的距离之和最小的点作为中心点。 

算法流程：

　　 ( 1 )总体n个样本点中任意选取k个点作为medoids

　　 ( 2 )按照与medoids最近的原则，将剩余的n-k个点分配到当前最佳的medoids代表的类中

　　 ( 3 )对于第i个类中除对应medoids点外的所有其他点，按顺序计算当其为新的medoids时，代价函数的值，遍历所有可能，选取代价函数最小时对应的点作为新的medoids

　　 ( 4 )重复2-3的过程，直到所有的medoids点不再发生变化或已达到设定的最大迭代次数

　　 ( 5 )产出最终确定的k个类