机器学习——聚类算法KMeans及其评估方法

聚类算法简介

聚类算法是一种典型的无监督学习算法，是根据样本之间的相似性，将样本分划到不同的类别中对于不同的相似度计算⽅法，会得到不同的聚类结果，常⽤的相似度计算⽅法有欧式距离法。
聚类算法的应用范围很广，包含以下例子：

• ⽤户画像，⼴告推荐，Data Segmentation，搜索引擎的流量推荐，恶意流量识别
• 基于位置信息的商业推送，新闻聚类，筛选排序
• 图像分割，降维，识别；离群点检测；信⽤卡异常消费；发掘相同功能的基因⽚段

KMeans算法

KMeans是聚类算法中的一种，按照字母意义理解可以分为两层：

• K表示初始的中心点数，即计划分为几个类别
• Means表示中心点到其他数据点的距离均值

KMeans算法原理

1. 随机设置K个特征空间内的点作为初始聚类的中心点；
2. 计算其他每个点到K个中心点的距离，这个点跟那个中心点最近则将其标记为该类别；
3. 接着计算所有标记为同一类点的平均值，作为新的中心点；
4. 如果该中心点跟上一次的中心点一样，则计算结束，否则重复2-3的步骤；
5. 最终确定每个样本所属的类别及其类别质心。
   

聚类算法评估

聚类算法的评估方法主要采用以下三种：SSE、肘方法和SC系数：

SSE误差平方和(The sum of squares due to error)

SSE是预测值与真实值之间差的平法，聚类效果越好则SSE的值越小。如果质心一开始选择的不好，则SSE只能达到一个不怎么好的局部最优解。

肘方法(Elbow method)

肘方法也就是K值确定法，一般该方法的原理如下：
（1）对于n个点的数据集，迭代计算k from 1 to n，每次聚类完成后计算每个点到其所属的簇中⼼的距离的平⽅和；
（2）平⽅和是会逐渐变⼩的，直到k=n时平⽅和为0，因为每个点都是它所在的簇中⼼本身；
（3）在这个平⽅和变化过程中，会出现⼀个拐点也即“肘”点，下降率突然变缓时即认为是最佳的k值。

一般我们在分类过程中无法带来更多回报时，建议停止增加类别。

轮廓系数法(Silhouette Coefficient)

轮廓系数法也就是SC系数，它结合了凝聚度和分离度，从而使得聚类的内部距离最小，外部距离最大。具体原理如下：

• 计算样本i到同簇其他样本的平均距离ai，ai 越⼩样本i的簇内不相似度越⼩，说明样本i越应该被聚类到该簇。
• 计算样本i到最近簇Cj 的所有样本的平均距离bij，称样本i与最近簇Cj 的不相似度，定义为样本i的簇间不相似度：bi =min{bi1, bi2, …, bik}，bi越⼤，说明样本i越不属于其他簇。
• 求出所有样本的轮廓系数后再求平均值就得到了平均轮廓系数。平均轮廓系数的取值范围为[-1,1]，系数越⼤，聚类效果越好。簇内样本的距离越近，簇间样本距离越远。

每次聚类后，每个样本都会得到⼀个轮廓系数，当它为1时，说明这个点与周围簇距离较远，结果⾮常好，当它为0，说明这个点可能处在两个簇的边界上，当值为负时，暗含该点可能被误分了。