1、KNN(K-nearest-neighbor)
KNN是一个分类算法
。算法思路:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。该方法在定类决策上只依据最邻近的k
个样本的类别来决定待分样本所属的类别。
KNN算法
不需要前期训练,只需要给定数据集就可以分类了。
2、K-means
K-means是一个聚类算法
,需要前期训练才可以使用。对于给定的数据集,随机选取k
个样本作为初始聚类中心样本点,然后对剩下的样本,根据特征相似度进行类别划分,然后对k
个类别计算中心点,作为新的聚类中心样本点,…,直到聚类中心不再变化。
K-means有两个缺点:
- k的选取需要经验;
- 初始聚类中心样本点是随机选取的,不同的选择可能导致不同的结果。
3、K-means++
基于以上两个缺点,K-means++在选择初始聚类中心时,采用算法完成,基本思想是,选取的初始聚类中心相互之间的距离应该尽可能远。
- 首先随机选取一个聚类中心点seed;
- 然后计算剩余样本点到最近聚类中心点的距离d;
- 将所有的距离d相加(并记录样本点所在的区间),得到D=sum(d);
- 生成一个0~D的随机值r,并将D -= r;
- 如果D <= 0,则选择当前样本点作为新的聚类中心点;
- 循环2到5,直到选完k个聚类中心。
假设:下图坐标中的原点为样本点,绿色为随机选中的第一个聚类中心点,我们需要选取k=2
个聚类中心点:
- 此时,我们可以得到剩下5个样本点到聚类中心的距离,分别是5,14,12,15和71,他们的和为 D = 53 D=53 D=53。
- 之后生成一个0~53的随机数 R 1 R_1 R1,很明显,这个随机数落在15、14、12三个区间的可能性更大,也就是距离聚类中心最远的3个样本点。
- 然后用 D D D减去 R 1 R_1 R1,若结果大于零,则生成下一个随机数 R 2 R_2 R2继续减,直到 D < = 0 D<=0 D<=0,并将此时随机数所代表的样本点作为新聚类中心点。
依次代表从上到下的第5、1、3、2、4个红色样本点。 ↩︎