KNN和K-means

1、KNN（K-nearest-neighbor）

KNN是一个分类算法。算法思路：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的k个样本的类别来决定待分样本所属的类别。
KNN算法不需要前期训练，只需要给定数据集就可以分类了。

2、K-means

K-means是一个聚类算法，需要前期训练才可以使用。对于给定的数据集，随机选取k个样本作为初始聚类中心样本点，然后对剩下的样本，根据特征相似度进行类别划分，然后对k个类别计算中心点，作为新的聚类中心样本点，…，直到聚类中心不再变化。

K-means有两个缺点：

• k的选取需要经验；
• 初始聚类中心样本点是随机选取的，不同的选择可能导致不同的结果。

3、K-means++

基于以上两个缺点，K-means++在选择初始聚类中心时，采用算法完成，基本思想是，选取的初始聚类中心相互之间的距离应该尽可能远。

1. 首先随机选取一个聚类中心点seed;
2. 然后计算剩余样本点到最近聚类中心点的距离d;
3. 将所有的距离d相加(并记录样本点所在的区间)，得到D=sum(d);
4. 生成一个0～D的随机值r，并将D -= r;
5. 如果D <= 0，则选择当前样本点作为新的聚类中心点；
6. 循环2到5，直到选完k个聚类中心。

假设：下图坐标中的原点为样本点，绿色为随机选中的第一个聚类中心点，我们需要选取k=2个聚类中心点：

• 此时，我们可以得到剩下5个样本点到聚类中心的距离，分别是5，14，12，15和7¹，他们的和为$D=53$。
• 之后生成一个0～53的随机数$R_1$，很明显，这个随机数落在15、14、12三个区间的可能性更大，也就是距离聚类中心最远的3个样本点。
• 然后用$D$减去$R_1$，若结果大于零，则生成下一个随机数$R_2$继续减，直到$D<=0$，并将此时随机数所代表的样本点作为新聚类中心点。

---

1. 依次代表从上到下的第5、1、3、2、4个红色样本点。 ↩︎