（大模型学习）一文读懂 KNN 算法：简单易懂，让你轻松掌握机器学习精髓！

和老莫一起学AI

已于 2024-08-23 11:28:06 修改

阅读量498

点赞数 6

文章标签：学习算法机器学习语言模型人工智能自然语言处理大模型

于 2024-06-04 10:09:22 首次发布

本文链接：https://blog.csdn.net/2401_85373691/article/details/139434782

版权

前言

K 近邻算法（KNN），听起来很高大上，其实本质就是一个**“找邻居”**的游戏。在机器学习的世界里，它可是一款非常实用的分类和回归工具。

它棱角分明，具有可解释性强，易实现的优点，在很多应用中扮演重要的角色。我们将一起探究它的算法原理、案例以及适用边界，一起慢慢地拆解它，使用它。

KNN算法的原理

KNN（K-Nearest Neighbors）是一种基于实例的学习方法，它通过测量新样本与已知样本之间的距离，找到距离最近的 K 个邻居，然后根据这 K 个邻居的类别来决定新样本的类别。

概念中提到了一个词“最近”，那我们该如何定义样本间距离的远近呢？

通常来讲，我们会通过数学公式计算两个样本点之间的距离，最常见的一个计算方法就是欧式距离（Euclidean Space）。

最后再做一个简单的统计，找到距离待测样本点最近的 K 个样本点中，哪些类别最多。当然除了欧式距离，还有很多距离计算的方式，如曼哈顿距离、余弦距离等等。

总得来说，它不仅适用于分类问题，还能处理回归问题。

KNN案例之挑选适合的商店

假设你是一个刚搬到城市的农村青年，对城市生活一无所知。但是，你有许多热情的邻居，他们愿意帮助你适应新环境。你家的周围有两家商店，一家卖水果，一家卖蔬菜。你想知道哪家商店更适合你，于是你开始了探索。

你首先去水果店，店主热情地迎接你，告诉你水果的新鲜程度和价格。然后你去蔬菜店，店主也热情地迎接你，告诉你蔬菜的新鲜程度和价格。你发现，水果店的水果种类更多，价格也更贵；而蔬菜店的价格相对便宜，种类虽然没有那么多，但也很丰富。最后，你根据自己的需求，决定经常去蔬菜店购买蔬菜。

这个过程，就像 KNN 算法的工作原理。你就像是待分类的新样本，两家商店就像是已知的类别。你通过比较两家商店的相似度（也就是水果和蔬菜的新鲜程度和价格），找到了距离你最近的那个邻居（也就是最适合你的蔬菜店），然后决定了自己的选择。

在这里插入图片描述

KNN算法的应用步骤

计算方式，主要有以下几个步骤：

准备数据：收集一批已知类别的样本，构成训练集。
计算距离：对于每一个新样本，计算它与训练集中每个样本的距离。
找到最近邻：选出距离新样本最近的 K 个样本。
确定类别：根据这 K 个邻居的类别，决定新样本的类别。

关于K值的问题

需要注意的是K值是人工假定的选取样本数量，它会直接影响到模型的预测效果。

当 K 越小的时候，模型就越容易过拟合，因为预测结果与最近一个样本点强相关。而 K 越大的时候，就越容易欠拟合，因为预测结果要考虑所有样本的情况，就相当于没有预测。

所以，对于 K 的取值，一种有效的办法就是从 1 开始不断地尝试，并对比准确率，然后选取效果最好的那个 K 值。

KNN算法的适用边界和优缺点

【优点】简单易实现，可以快速解决多分类问题，并且相对于线性分类算法用一条直线来分割数据的方式来说，KNN 对于边界不规则的数据预测效果会更好。

【缺点】KNN 对于数据的容错性很低。比如，当待测样本周围的 K 个数据样本中存在错误样本的时候，就会对预测结果有很大的影响。KNN 一般适用于样本数较少的数据集。因为它在处理数据量比较大的样本时会非常耗时，所以，在实际工业中，我们一般会选用 Kd-tree 来进行预测。

【适用场景】在数据量不多，特征都相对单一的业务场景下很适合选择 KNN 算法。

最后的话

总的来说，KNN 算法就像是一个热情友善的邻居，它用自己的智慧和经验，帮助你解决生活中的问题。只要你理解它的原理，掌握它的计算方法，就能充分利用它的优点，克服它的缺点，它可以快速的帮你实现目标。

如果用一句话来概括它，那就是**“近朱者赤，近墨者黑”**。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。