机器学习笔记（12）— K均值算法

本文主要介绍K均值的运行原理、代价函数、聚类数量的选择等内容。

1.运行原理

假如有以下数据集，并且要将其分为两类。

首先使用生成两个聚类中心（图中的红蓝点）。之后该算法会计算每个样本点和两个聚类中心的距离，根据距离的远近把样本点分配给聚类中心。

第一次聚类之后的结果如下：

之后K-均值算法根据之前计算出来的距离移动聚类中心，移动之后的结果如下所示。

之后重复之前的过程，完成聚类。

通过以上例子，可知K-均值的计算过程是：
首先随机初始化K个聚类中心。之后计算样本与K个聚类中心的距离，选择最近的聚类中心进行分类。

2.代价函数

K均值算法的代价函数为：

其中：μ_k代表第K个聚类中心，c^((m) )代表样本目前所属的聚类，μ_c (i)代表第i个样本所属的聚类中心。

3.聚类中心

3.1初始化

首先K的值要小于样本的数量，之后在样本中随机挑选K个样本点作为初始聚类中心，为了避免算法陷入局部最优解，可以多次初始化K值，然后多次（50-1000次）运行算法。之后选择代价函数最小的初始化K值。

3.2聚类中心的数量选择

通常的方法是多次选择不同的聚类中心比较代价函数的结果。

如图所示，在K=3时，代价函数变化最大，在3以后代价函数减低的较慢，如果选择k>3会增加计算时间，因此在这个例子中可以选择K=3.

聚类中心数量的选择大部分时候还是要依赖于实践经验，以上的方法知识为大家提供一个思路。