聚类算法中K值的选取

介绍

下面是scikit-learn中的几种聚类算法。

聚类算法	参数
K-Means	number of clusters
Affinity propagation	damping, sample preference
Mean-shift	bandwidth
Spectral clustering	number of clusters
Ward hierarchical clustering	number of clusters
Agglomerative clustering	number of clusters, linkage type, distance

可以发现，大部分聚类算法的输入参数，都含有聚类类别数目K，K表示我们需要算法将样本聚成几类。

那么问题来了，在使用聚类算法时，我们该如何决定聚类类别数目K值的选取呢？

方法

关于聚类K值问题，有很多种求解的方法。

有暴力的均方根解法，也有直观的图解法，下面介绍几种常用的方法。

均方根

假设我们有m个样本，该方法认为$K=\sqrt{m/2}$

Elbow法

首先给出聚类算法的一些符号表示
* 聚类算法的m个输入样本：${x^{(1)}, ... , x^{(m)}}$
* $x^{(i)}$所属的聚类中心：$\mu_{c^{(i)}}$

聚类算法在聚类过程中，会寻找每个样本到聚类中心距离最小的点作为聚类中心。所以聚类算法的优化目标为：

$$J(c^{(1)},...,c^{(m)}, \mu_{1},...,\mu_{k}) = \frac{1}{m}\sum_{1}^{m}(\parallel x^{(i)}-\mu_{c^{(i)}} \parallel )$$

其中

• $c^{(i)}$表示最接近$x^{(i)}$的聚类中心下标
• $\mu_{k}$表示聚类中心

优化目标J的值就表示每个样本到聚类中心的距离之和，所以J在某种程度上表示了误差，J最小则聚类误差最小。

当K取值不同，得到的J值也不同。

Elbow法认为，K值应该取拐点上的那个值，如下图。

当然，实际情况中，不一定能看到拐点，也就不一定能使用这种方法。

图像法

把样本的二维、三维特征图画出来，通过观察，人为决定K值选取。
样本特征维度大于三时，用降维或Visual Intelligence的方法来作图观察。

结论

聚类使用中，可以根据上面一些方法确定K值得选取。
但最终决定你聚类K值的，应该是根据你聚类后的后续目的来选取。可以尝试不同的K，看聚类结果能为你后续目的提供多大帮助。