KNN和K-means

1、KNN(K-nearest-neighbor)

KNN是一个分类算法。算法思路:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。该方法在定类决策上只依据最邻近的k个样本的类别来决定待分样本所属的类别。
KNN算法不需要前期训练,只需要给定数据集就可以分类了。

2、K-means

K-means是一个聚类算法,需要前期训练才可以使用。对于给定的数据集,随机选取k个样本作为初始聚类中心样本点,然后对剩下的样本,根据特征相似度进行类别划分,然后对k个类别计算中心点,作为新的聚类中心样本点,…,直到聚类中心不再变化。

K-means有两个缺点:

  • k的选取需要经验;
  • 初始聚类中心样本点是随机选取的,不同的选择可能导致不同的结果。

3、K-means++

基于以上两个缺点,K-means++在选择初始聚类中心时,采用算法完成,基本思想是,选取的初始聚类中心相互之间的距离应该尽可能远。

  1. 首先随机选取一个聚类中心点seed;
  2. 然后计算剩余样本点到最近聚类中心点的距离d;
  3. 将所有的距离d相加(并记录样本点所在的区间),得到D=sum(d);
  4. 生成一个0~D的随机值r,并将D -= r;
  5. 如果D <= 0,则选择当前样本点作为新的聚类中心点;
  6. 循环2到5,直到选完k个聚类中心。

在这里插入图片描述
假设:下图坐标中的原点为样本点,绿色为随机选中的第一个聚类中心点,我们需要选取k=2个聚类中心点:
在这里插入图片描述

  • 此时,我们可以得到剩下5个样本点到聚类中心的距离,分别是5,14,12,15和71,他们的和为 D = 53 D=53 D=53
  • 之后生成一个0~53的随机数 R 1 R_1 R1,很明显,这个随机数落在15、14、12三个区间的可能性更大,也就是距离聚类中心最远的3个样本点。
  • 然后用 D D D减去 R 1 R_1 R1,若结果大于零,则生成下一个随机数 R 2 R_2 R2继续减,直到 D < = 0 D<=0 D<=0,并将此时随机数所代表的样本点作为新聚类中心点。

  1. 依次代表从上到下的第5、1、3、2、4个红色样本点。 ↩︎

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
KNN(K-Nearest Neighbor)和K-Means是两种不同的机器学习算法,它们在问题类型、应用场景和算法过程上有所区别。 首先,KNN是一种监督学习算法,用于解决分类问题。它通过计算未知样本与最近的K个已知样本之间的距离,来确定未知样本所属的类别。KNN需要有标签的训练数据来进行分类。 而K-Means是一种非监督学习算法,用于解决聚类问题。它通过人为选定的K个聚类中心,计算样本与聚类中心之间的距离,将样本分配到离其最近的聚类中心所代表的类簇中。然后根据类簇内的所有点重新计算类簇的中心点,迭代进行分配和更新,直至类簇中心点不再变化或达到指定的迭代次数。 此外,KNN没有明显的训练过程,而K-Means需要迭代计算类簇中心点。KNN是根据最近的K个样本来判断未知样本的类别,而K-Means是根据样本与聚类中心的距离来进行聚类。 总结来说,KNN是一种用于分类问题的监督学习算法,而K-Means是一种用于聚类问题的非监督学习算法。它们在问题类型、应用场景和算法过程上有所区别。 #### 引用[.reference_title] - *1* [KNN(K近邻)和K-means(聚类)的区别](https://blog.csdn.net/weixin_43804047/article/details/128424463)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [面试回答:KNNK-Means的区别?](https://blog.csdn.net/qq_29168809/article/details/104221199)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [KNN和kmeans算法的区别](https://blog.csdn.net/skyllerone/article/details/126954351)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值