kNN

最新推荐文章于 2024-03-29 22:18:52 发布
最新推荐文章于 2024-03-29 22:18:52 发布
阅读量426 收藏
点赞数
分类专栏： AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yalecaltech/article/details/104051833
版权

1. kNN

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

安装scikit-learn依赖
sudo apt-get install build-essential python-dev python-numpy python-setuptools python-scipy libatlas-base-dev libatlas3-base
在这里插入图片描述
安装scikit-learn
在这里插入图片描述
安装pandas
在这里插入图片描述
下载所需数据文件
在这里插入图片描述
KNN算法的思想：就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类
以下图为例
在这里插入图片描述
测试样本（绿色圆形）应归入要么是第一类的蓝色方形或是第二类的红色三角形。如果k=3（实线圆圈）它被分配给第二类，因为有2个三角形和只有1个正方形在内侧圆圈之内。如果k=5（虚线圆圈）它被分配到第一类（3个正方形与2个三角形在外侧圆圈之内）

KNN算法是实现主要分为下面的五个步骤，本文将各个功能写成函数，并分别给出了简单的数据集用于测试。

第一步是处理数据
首先需要做的是加载我们的数据文件。 数据为CSV格式，我们可以使用open函数打开文件，并使用csv模块中的reader函数读取数据行
在这里插入图片描述
执行后如图
在这里插入图片描述
接下来，我们需要将数据拆分为kNN可用于进行预测的训练数据集和我们可用于评估模型准确性的测试数据集。
我们首先需要将作为字符串加载的花卉度量转换为我们可以使用的数字。接下来，我们需要将数据集随机分成训练和数据集。 一般来说，训练集/测试集的比率为67/33。
我们定义一个名为loadDataset的函数，该函数使用提供的文件名加载CSV，并使用提供的分割比率将其随机分成训练和测试数据集。
在这里插入图片描述
运行结果如下
在这里插入图片描述

第二步是计算相似度
为了进行预测，我们需要计算任何两个给定数据实例之间的相似性。 这样我们就可以在训练数据集中为测试数据集的给定成员定位k个最相似的数据实例，然后以此为根据进行预测。
由于本次所用的数据集都是数字并具有相同的单位，我们可以直接使用欧几里德距离测量。
因为花有很多属性，所以我们需要控制在距离计算中包括哪些属性字段。我们这次假设只包含前4个属性。
接下来就可以用python来写欧几里得距离函数了
在这里插入图片描述
运行结果如下：
在这里插入图片描述

第三步是选择邻居
现在我们已经有了计算相似度的方案，我们就可以针对给出的未知的实例选择k个最相似的实例。
为了实现这一步，我们需要计算所以实例的距离并选择具有最小距离值的子集
下图的函数用于从给定测试实例的数据集中返回k个最相似的邻居（因为涉及计算欧式距离，所以还需要上文写的计算距离的函数）
在这里插入图片描述
运行如下
在这里插入图片描述
可以看到，针对给出的训练集222’a’和444’b’,以及测试集555,函数会判定444’b’离555更近

第四步是获得响应
为测试集找到了最相似的邻居后，下一个任务就是根据这些邻居设计预测响应。可以通过允许每个邻居投票选择他们的类属性来做到这一点，并将多数投票作为预测。
下图中是用于从多个邻居获得多数投票响应的函数。 此处假定该类是每个邻居的最后一个属性。
在这里插入图片描述
运行结果
在这里插入图片描述
可以看到，邻居的最后一个属性是a,a,b，获得多数投票的是a

第五步是评估准确性
评估所选择的模型的准确性的一种简单方法是计算所有预测中的正确预测的比率，称为分类准确度。
下图中的函数用于对正确预测求和，并以正确分类的百分比形式返回准确度。
在这里插入图片描述
运行结果
在这里插入图片描述
针对给出的数据，我们知道测试集最后一个属性是aab，而预测的数据是aaa,所以正确率是66.6

现在五步都走完了，我们可以把前面单独写好的函数都组装在一起，组成一个完整的KNN
在这里插入图片描述
前面都是我们写好的函数,看看main函数吧
在这里插入图片描述
显示设置了训练集,测试集和它们的比例,拆分后通过计算欧式距离进行分类,以及预测响应,最后给出了分类的准确度
运行结果如下:
在这里插入图片描述
准确率
在这里插入图片描述
当然了,实际上每次运行的准确率都是有差异的,在我们的demo中,这主要是因为随机划分造成的
在这里插入图片描述

在这里插入图片描述在这里插入图片描述
。

参考：
1.<机器学习实战>
2. https://zh.wikipedia.org/wiki/%E6%9C%80%E8%BF%91%E9%84%B0%E5%B1%85%E6%B3%95
3.<机器学习>(周志华的西瓜书)
4. https://machinelearningmastery.com/category/algorithms-from-scratch/

Elwood Ying
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于KNN的通俗理解
没什么特色的常人的博客
10-19 1万+
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 刚学习机器学习之时，免不了需要百度一下，问什么是KNN？所以此刻你将看到的是通俗的说明，带你快速理解KNN原理以及应用。 提示：以下是...
KNN
01-06
KNN算法的结果很大程度上取决于K的选择。 算法的三要素：1，K值得选择；2，距离度量的方式；3，分类决策规则 K值的选择：没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适...
模型评估(笔记)
BUPT-WT的博客
01-05 2036
模型评估主要分为离线评估和在线评估两个阶段 针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同 一、评估指标的局限性 1、准确率的局限性 当不同类别的样本比例非常不均衡时，占比大的类别往往成为影响准确率的最主要因素 2、准确率与召回率权衡 精确率：指分类正确的正样本个数占分类器判定为正样本的样本个数比例 召回率：分类正确的正样本个数占真正的正样本个数的比...
【海量数据挖掘/数据分析】 之 K-NN 分类(K-NN、K-NN实例、准确率评估方法、准确率、召回率)
仙魁XAN
07-03 2147
K-NN 全称是 K-Nearest Neighbors , 即 K 最近邻 算法;② 定义 :给定查询点 p , 找出离 p 最近的 K 个点 , 找出所有的 qk​ 点 , qk​ 点的要求是 点到 p 的距离 小于其第 k 个邻居的距离;③ 理解方式 :以 p 点为圆心画圆 , 数一下圆内 , 和圆的边上的点是由有 K 个 , 如果个数不足 K 个 , 扩大半径 , 直到圆边上和园内的点的个数大于等于 K 为止;
【KNN算法详解（用法，优缺点，适用场景）及应用】
Oona_01的博客
03-29 517
我们可以看到在图中11点更接近于5点和1点，所以其体重应该更接近于5点和1点的值，也就是在72-77之间，这样我们就可以大致得到11点的体重值。K值小，相当于用较小的领域中的训练实例进行预测，只要与输入实例相近的实例才会对预测结果，模型变得复杂，只要改变一点点就可能导致分类结果出错，泛化性不佳。K值大，相当于用较大的领域中的训练实例进行预测，与输入实例较远的实例也会对预测结果产生影响，模型变得简单，可能预测出错。K=N，模型太简单，输出的分类就是所有类中数量最多的，距离都没有产生作用。
KNN算法（k近邻算法）原理及总结
m0_74405427的博客
10-09 4万+
KNN 算法，或者称 k最邻近算法，是有监督学习中的分类算法。它可以用于分类或回归问题，但它通常用作分类算法。
KNN算法（一） KNN算法原理
weixin_45014385的博客
03-20 11万+
一.KNN算法概述 KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的。那么什么是KNN算法呢，接下来我们就来介绍介绍吧。 二.KNN算法介绍 KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢
深度学习—KNN算法
qq_59332194的博客
08-11 4767
KNN算法简介及代码应用
基于KNN实现图像分类
01-20
1. KNN KNN被翻译为最近邻算法，顾名思义，找到最近的k个邻居，在前k个最近样本（k近邻）中选择最近的占比最高的类别作为预测类别。 如上图所示： 五角星（待预测的）要被赋予哪个类，是紫色圆形还是黄色圆形？ 1）...
c语言的KNN算法实现
09-20
C语言实现的KNN算法，在data文件中导入自己的数据集，在KNN.h中更在自己的K值。array.m中是自己曾经写的一些方便自己的函数，拿在这个算法中将一部分作为套用。
knn_KNN分类_
10-03
KNN的四种实现代码与数据，可直接运行....
KNN algorithm
04-24
a short document to describe KNN algorithm, a silde
【机器学习】KNN 算法介绍
weixin_44211968的博客
12-26 8680
本文介绍了机器学习模型：KNN 算法
KNN 原理及实现
vvoennvv的博客
10-24 2605
该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。所以，待分类样本A的类别取决于：与A距离最近的K个样本的类别。现在设定K=4，并计算到待测样本A最近的4个样本有2个苹果和2个梨子，距离d分别为：2、2、4、4。样本在特征空间中的分布是用特征向量描述的，因此可以使用向量之间的距离来衡量样本之间的相似度。当然，在有的问题中，没有精确考虑距离远近的因素。// 每类用于训练的行数，4000/10类/100(样本/行)=4。
机器学习之KNN最邻近分类算法
热门推荐
pengjunlee的博客
09-15 19万+
KNN算法简介 KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中最简单的算法之一，其指导思想是”近朱者赤，近墨者黑“，即由你的邻居来推断出你的类别。 KNN最邻近分类算法的实现原理：为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数...
深入浅出理解kNN（k近邻算法）
MengHao的博客
03-22 8029
什么是kNN？ kNN 的名字中虽然含有 NN，但并不是我们常说的Neural Network神经网络。 kNN 英文全程 k - Nearest Network ,中文名 k近邻算法。 kNN 根据待分类样本周围的已知类别样本来判断待分类样本的类别。简单说， 如果你周围都是猴子，那 kNN 就认为你是猴子， 如果你周围都是大学生，那 kNN 就认为你是大学生。 如图，现在有一个水果，我们想知道它是梨还是苹果，于是我们根据它的大小形装颜色把它定位到坐标轴中，再看它在坐标轴中周围一定范围内的苹果多还是梨多
k-近邻算法（KNN）
qq_58146842的博客
11-14 1628
KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。 中心思想：knn常用于解决二分.
KNN的基本原理及应用
xiaotian127的博客
11-07 5770
K nearest neighbor KNN，全名k近邻算法。 KNN的核心思想是先计算每个样本与单个特征空间上的距离（距离可有欧式距离、曼哈顿距离、马氏距离等，详见附录一），再找出与每个样本距离最近的k个点，最后将其归类为k个邻居中类别最多的那一类； 适用场景：一般多用于分类任务，也可用来处理回归任务。 优点： 原理简单，易于理解； 对异常值不敏感； 对数据的特征类型没有明确的要求； 缺点： 样本不平衡问题，容易将样本分入类别中样本较多的那一类； 特征较多时，计算复杂度高，空间复杂度高；
opencv KNN
最新发布
04-03
OpenCV中的KNN是指最近邻算法（K-Nearest Neighbors），它是一种常用的分类算法。KNN算法的基本思想是根据样本之间的距离来进行分类，即将未知样本分类为与其最近邻居相同类别的样本。 在OpenCV中，KNN算法可以通过cv::ml::KNearest类来实现。该类提供了训练和预测函数，可以用于分类任务。在训练阶段，需要提供已知类别的样本数据和对应的标签，通过调用train函数进行训练。在预测阶段，可以使用predict函数对未知样本进行分类预测。 KNN算法的主要参数是K值，它表示选择最近邻居的数量。K值的选择需要根据具体问题和数据集进行调整，一般来说，较小的K值会使模型更加敏感，容易受到噪声的影响，而较大的K值会使模型更加平滑，容易忽略掉一些细节。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值