K-Means 算法

聚类（Clustering）问题

在 无监督学习（Unsupervised Learning） 中，我们的数据没有附带任何标签。

假如我们有一系列数据，它是二维的。这一系列数据只有特征 $\mathbf{x}=[x_1,x_2]$，却没有标签 $y$。

如下图所示：

不知道它们代表什么，但是可以看出来它们是一簇一簇的。

我们要把这组数据输入到一个算法中，找到一种结构，把图中的数据分成几簇（cluster）。

聚类算法可以帮你做这件事情。

K-Means

K-Means 算法是一种最常用的聚类算法。给算法一个无标签的数据集，然后它会把数据聚类成不同的组。

大致步骤如下：

1. 选择 $K$ 个随机的点，称为聚类中心（cluster centroids）。即 $K$ 个中心点。
2. 对于每一个数据，计算它到每个中心点的距离。这里有 $K$ 个中心点，取距离最近的那个中心点，把数据分配到该类。
3. 所有数据分配完后，计算每一个组的平均值，将该组的中心点移动到平均值的位置。
4. 重复步骤 2-3，直到中心点不再变化。

---

下面以文章开头的图为例，讲讲聚类的过程。

首先随机选择 $K$ 个中心点。这里 $K=3$，，用红、绿、蓝 3 种颜色表示：

然后根据距离，把数据分配到所属中心点：

对每个类的数据求平均值，得到新的中心点，移动中心点：

按照最近的中心点，重新分配数据：

继续迭代：


直到中心点不再移动，完成算法。

优化目标

假如数据集的样本个数为 $m$，设定了 $K$ 个中心点。

我们用 ${\mathbf{\mu }}_1$，${\mathbf{\mu }}_2$，$\cdots$，${\mathbf{\mu }}_K$ 表示各个聚类中心点。

用 $c_1$，$c_2$，$\cdots$，$c_m$ 来存储与第 $i$ 个样本最近的聚类中心的索引。
例如第 $2$ 个样本与第 $1$ 个中心点最近，则 $c_2=1$。若第 $i$ 个样本与第 $2$ 个中心点最近，则 $c_i=2$。

K-means 最小化问题，是要最小化所有的数据点与其所关联的聚类中心点之间的距离之和.
代价函数为：
$$J(c_1,\dots ,c_m，{\mathbf{\mu }}_1,\dots ,{\mathbf{\mu }}_K)=\frac{1}{m}\sum _{i=1}^m\Vert {\mathbf{x}}_i-{\mathbf{\mu }}_{c_i}{\Vert }^2$$

其中 ${\mathbf{\mu }}_{c_i}$ 表示与 ${\mathbf{x}}_i$ 最近的聚类中心点。

优化的目标是找到 $c_1$，$c_2$，$\cdots$，$c_m$ 和 ${\mathbf{\mu }}_1$，${\mathbf{\mu }}_2$，$\cdots$，${\mathbf{\mu }}_K$ ， 使得代价函数最小：$$\underset{c_1,\dots ,c_m，{\mathbf{\mu }}_1,\dots ,{\mathbf{\mu }}_K}{\min }J(c_1,\dots ,c_m，{\mathbf{\mu }}_1,\dots ,{\mathbf{\mu }}_K)$$

---

回顾上面讲的 K-means 步骤，循环步骤 2 和步骤 3，
其中步骤 2 是用于减小 $c_i$ 引起的代价；
步骤 3 是用于减小 ${\mathbf{\mu }}_i$ 引起的代价。

随机初始化

在进行 K-means 算法之前，需要随机初始化各个聚类的中心点。

由于初始化的情况不同，可能会使算法停留在一个局部最小值：

解决这个问题的办法是，运行多几次 K-means 算法，每次都重新随机初始化。最后选择代价函数最小的那一次作为结果。

不过这种办法在 $K$ 比较小（$2\sim 10$）的时候还行，如果 $K$ 比较大，可能没有明显的改善。

$K$ 值的选择

这一般根据你的问题来手动选择。

有一个叫做 “肘部法则” 的方法会经常用到。选择不同的 $K$ 进行聚类，计算代价函数 $J$，得到这样的曲线：

这条曲线像人的手臂。刚开始的时候 $J$ 会迅速下降，从某个地方开始（左边图的$K=3$）下降速度变慢了。那么选择 $K=3$ 就是一个合适的值。但是有时候这个节点不太明显，例如右边这个图。