图解机器学习 | KNN算法及其应用

最新推荐文章于 2024-07-15 19:01:02 发布
最新推荐文章于 2024-07-15 19:01:02 发布
阅读量1k 收藏 8
点赞数 25
文章标签： 机器学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42907150/article/details/136049402
版权
本文详细介绍了K近邻(KNN)算法的基本思想、分类与回归的应用、工作原理、参数选择以及其优缺点。通过豆子分类和电影分类实例，展示了KNN算法的计算流程，并讨论了如何改进和优化K值的选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

图解机器学习 | KNN算法及其应用

引言

K近邻算法（k-nearest neighbors，KNN，有些地方也译作「K近邻算法」）是一种很基本朴实的机器学习方法。

KNN在我们日常生活中也有类似的思想应用，比如，我们判断一个人的人品，往往只需要观察他最密切的几个人的人品好坏就能得到结果了。这就是KNN的思想应用，KNN方法既可以做分类，也可以做回归。在本篇内容中，我们来给大家展开讲解KNN相关的知识原理。

（本篇KNN部分内容涉及到机器学习基础知识，没有先序知识储备的宝宝可以查看ShowMeAI的文章 图解机器学习 | 机器学习基础知识。

1.机器学习与分类问题

1）分类问题

分类问题是机器学习非常重要的一个组成部分，它的目标是根据已知样本的某些特征，判断一个样本属于哪个类别。分类问题可以细分如下：

  • 二分类问题：表示分类任务中有两个类别新的样本属于哪种已知的样本类。
  • 多类分类（Multiclass classification）问题：表示分类任务中有多类别。
  • 多标签分类（Multilabel classification）问题：给每个样本一系列的目标标签。

img

2）分类问题的数学抽象

从算法的角度解决一个分类问题，我们的训练数据会被映射成n维空间的样本点（这里的n就是特征维度），我们需要做的事情是对n维样本空间的点进行类别区分，某些点会归属到某个类别。

下图所示的是二维平面中的两类样本点，我们的模型（分类器）在学习一种区分不同类别的方法，比如这里是使用一条直线去对2类不同的样本点进行切分。

img

常见的分类问题应用场景很多，我们选择几个进行举例说明：

  • 垃圾邮件识别：可以作为二分类问题，将邮件分为你「垃圾邮件」或者「正常邮件」。
  • 图像内容识别：因为图像的内容种类不止一个，图像内容可能是猫、狗、人等等，因此是多类分类问题。
  • 文本情感分析：既可以作为二分类问题，将情感分
最低0.47元/天 解锁文章
Dashesand
关注
[机器学习]KNN算法的理解与具体实现
图解AI
01-17 6085
K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法。其中的K表示最接近自己的K个数据样本。KNN算法和K-Means算法不同的是，K-Means算法用来聚类，用来判断哪些东西是一个比较相近的类型，而KNN算法是用来做归类的，也就是说，有一个样本空间里的样本分成很几个类型，然后，给定一个待分类的数据，通过计算接
机器学习-KNN（最近邻）详解
INFINALGEORGE的博客
06-04 1897
K-近邻算法原理 K最近邻(kNN，k-NearestNeighbor)分类算法，见名思意：找到最近的k个邻居（样本），在前k个样本中选择频率最高的类别作为预测类别，什么？怎么那么拗口，没图说个JB，下面举个例子，图解一下大家就会显而易见了，如下图： 我们的目的是要预测某个学生在数学课上的成绩。。。 先来说明几个基本概念：图中每个点代表一个样本（在这里是指一个学生），横纵坐标代表了特征（到课率，作业质量），不同的形状代表了类别（即：红色代表A（优秀），绿色代表D（不及格））。我们现在看（10，20）这个.
机器学习——K 近邻、K-NN 算法图文详解
好记性不如烂笔头
06-26 2496
K 近邻算法原理、距离度量方法、欧式距离、曼哈顿距离、切比雪夫距离、闵式距离、归一化和标准化、归一化、MinMaxScaler、标准化、StandardScaler、K 值选择问题、GridSearchCV 、分类模型评估方法、留出法、交叉验证法、KFold、分层交叉验证、StratifiedKFold、留一法、自助法、accuracy_score、分类算法评估
KNN算法原理及应用
小森的博客
01-17 2484
KNN是监督学习分类算法，主要解决现实生活中分类问题。根据目标的不同将监督学习任务分为了分类学习及回归预测问题。监督学习任务的基本流程和架构：（1）首先准备数据，可以是视频、音频、文本、图片等等（2）抽取所需要的一些列特征，形成特征向量（Feature Vectors）。（3）将这些特征向量连同标记一并送入机器学习算法中，训练出一个预测模型。（4）然后，采用同样的特征提取方法作用于新数据，得到用于测试的特征向量。
KNN算法及应用场景
薛定谔的猫
03-22 5168
KNN算法（K-Nearest Neighbor Algorithm）是一种基本的机器学习算法，它可以用于分类和回归任务。在KNN算法中，给定一个新的输入样本，通过计算其与已知数据集中每个样本之间的距离，找到与其最相似的K个样本，然后通过这K个样本的分类信息（对于分类问题）或者平均值（对于回归问题）来预测该输入样本的分类或者数值。KNN算法的主要优点是简单易用、适用于多分类问题、适用于非线性分类问题等。然而，它的主要缺点是计算复杂度高，特别是当数据集很大时，计算距离需要较多的时间和计算资源。
【KNN算法详解（用法，优缺点，适用场景）及应用】
Oona_01的博客
03-29 1929
我们可以看到在图中11点更接近于5点和1点，所以其体重应该更接近于5点和1点的值，也就是在72-77之间，这样我们就可以大致得到11点的体重值。K值小，相当于用较小的领域中的训练实例进行预测，只要与输入实例相近的实例才会对预测结果，模型变得复杂，只要改变一点点就可能导致分类结果出错，泛化性不佳。K值大，相当于用较大的领域中的训练实例进行预测，与输入实例较远的实例也会对预测结果产生影响，模型变得简单，可能预测出错。K=N，模型太简单，输出的分类就是所有类中数量最多的，距离都没有产生作用。
kNN（k-Nearest Neighbours）原理详解
Roar冷颜的博客
07-29 5956
kNN（k-Nearest Neighbours）原理及C++算法实现１ kNN简介２ 图解kNN基本原理1）距离函数 １ kNN简介   KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一，它的适用面很广，并且在样本量足够大的情况下准确度很高，多年来得到了很多的关注和研究。该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该
图解超经典的KNN算法 - 机器学习算法入门
Python数据之道
10-21 1942
出品：Python数据之道（ID：PyDataLab）作者：Peter，来自读者投稿编辑：Lemon图解超经典的KNN算法本文中介绍的机器学习算法中的一种监督学习的算法：KNN 算法，全...
机器学习实战 | Python机器学习算法应用实践
qq_24428851的博客
07-15 772
第一个数据集是iris(鸢尾花)数据集，它是一个入门级数据集。对于图像数据，如果直接采用原始像素信息输入模型中，大部分的机器学习算法效果都很不理想，所以这里采用特征提取方法，主要是统计图像颜色通道的均值和标准差信息，总共是。上述代码就完成加载图片的路径信息，然后依次遍历，读取图片，提取特征，提取标签信息，保存特征和标签信息，接着编码标签，然后就是划分训练集和测试集。(1) 没有任何一种算法是完美的，可以完全适用所有的场景，即便是目前很热门的深度学习方法，也存在它的局限性，所以应该具体问题具体分析！
源代码图解机器学习算法
最新发布
03-15
本书《源代码图解机器学习算法》深入浅出地向读者介绍了机器学习的核心原理和算法实现。书中不仅详细阐述了有监督学习和无监督学习的多种算法，还通过具体的Python代码示例，帮助读者实践操作并加深对理论的理解。 ...
算法(八)：图解KNN算法
weixin_33713707的博客
11-24 795
算法简介 K最相邻算法(K-NearestNeighbor Classification Algorithm,KNN)是数据挖掘分类技术中最简单的方法之一,所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表。 KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定...
K-近邻（KNN）模型详解
热门推荐
数据森麟
04-25 1万+
作者：青十五 来源：青十五K-近邻（K- Nearest Neighbor，KNN）模型是一个非常简单与直观的模型，其基本思想可以用这样一句俗语来解释——“近朱者赤，近...
算法图解（KNN）
Milk的博客
09-24 680
特征抽取 每个用户对喜欢的电影进行评分，获得特征值，将其作为一个数组 比如：兔子为（3，4，4，1，4） 然后计算各自的距离 计算5维空间的距离，和二维空间一样都代表目标之间的相似度。 （在实际工作中，不直接使用距离公式，不计算他们矢量的距离，计算他们矢量的角度，使用cos相似度） 2.回归 找到与他相似的5人（相似目标值可以很大，比如找100个相似的人），计算他们对电影打分的平均值即为预...
机器学习之knn分类算及应用
林夕
08-07 1620
1. KNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。 KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。 本质上，KNN算法就是用距离来衡量样本之间的相似度 1.2 算法图示 从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别。 算法涉及3个主要因素： 训练数据集 ...
分类算法之邻近算法:KNN（应用篇）
weixin_33720078的博客
12-09 455
起步 这次使用的训练集由 sklearn 模块提供，关于虹膜（一种鸢尾属植物）的数据。 数据载入 from sklearn import datasets iris = datasets.load_iris() 数据存储在 .data 成员中，它是一个 (n_samples, n_features) numpy 数组： print(ir...
吴裕雄 数据挖掘与分析案例实战（10）——KNN模型的应用
weixin_30381793的博客
12-03 421
# 导入第三方包import pandas as pd # 导入数据Knowledge = pd.read_excel(r'F:\\python_Data_analysis_and_mining\\11\\Knowledge.xlsx')print(Knowledge.shape)# 返回前5行数据print(Knowledge.head()) # 构造训练集和测试集# 导入第三方模...
机器学习算法-knn分类算法与应用
woaini886353的博客
05-10 2672
1. kNN分类算法原理 1.1 概述 K最近邻（k-Nearest Neighbor，KNN）分类算法是最简单的机器学习算法。[dht1] KNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。 本质上，KNN算法就是用距离来衡量样本之间的相似度 1.2 算法图示 从训练集中找到和新数据最接近的k条记录，然后根据多数类来决定新数据类别。 算法涉及3个主要因素： 训练数据集 距离或相似度的计算衡量 k的大小 算法描述 已知两类“先验”数据，分别是蓝方块.
K-近邻算法（KNN）
LkmLym的博客
03-05 1605
K-近邻算法（KNN）一、k近邻算法的基本概念原理和应用二、k近邻算法中k的选取以及特征归一化的重要性1.选取k值以及它的影响2.距离的度量3.特征归一化的必要性总结 一、k近邻算法的基本概念原理和应用 首先，K近邻算法是一种基本分类和回归方法。本篇文章只讨论分类问题的k近邻法。 K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。（这就类似于现实生活中少数服从多数的思想）根据这个说法，咱们来看下引自维基
kNN(K-Nearest Neighbor)最邻近规则分类
runfeel
05-02 924
KNN最邻近规则，主要应用领域是对未知事物的识别，即判断未知事物属于哪一类，判断思想是，基于欧几里得定理，判断未知事物的特征和哪一类已知事物的的特征最接近； K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值