[数据挖掘] K-中心点 解决 k-means 的局部最优问题

概述

在 k-means, 我们使用了基于形心(簇均值)来对数据进行划分, 也讨论了 k-means 的初始值选取之重要, 若选得不好, 很容易陷入局部最优解的问题.
实质上来说, 我们会陷入到局部最优解的本质原因是:

• 当初始值选定之后, 我们有一个初始的簇
• 均值基本是在这个簇的最大值与最小值之间
• 每次更新的新的质心(均值)之后, 我们的簇只会有很小的移动, 因为均值无法跳出初始簇的范围

就像, 你已经给定了初始的形状, 而我们只是在这个初始形状上进行增减, 自然很难得到全局的最好的簇了

算法

下面给出 k-中心点的主要算法, 可以与 k-means 做比较

整体算法

1. 初始化选择 k 个质心 (随机选择, 或者领域知识选择), 该选择决定了聚类的速度与效果
2. 为所有点划分簇
3. 计算该种划分的损失
4. 当该损失还能减小时循环以下:
   对于每个质心(k个)执行:
   a. 随机选择一个新的点
   b. 以新的点代替这个质心
   c. 重新对所有数据划分簇
   d. 计算划分的损失
   e. 若 新的损失小于原先的损失, 则 用新的点代替原质心

损失计算

一种简单的方法是每个簇离质心方差的和
∑ i = 1 k ∑ j n ( d j − d