监督学习之k Nearest Neighbors算法

最新推荐文章于 2024-08-11 22:50:26 发布
最新推荐文章于 2024-08-11 22:50:26 发布
阅读量1.6k 收藏
点赞数
分类专栏： 数据仓库与数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cnweike/article/details/9135299
版权

首先说kNN算法是一种有监督学习的分类算法。所谓有监督学习，就是在应用算法之前我们必须准备一组训练集，训练集中的每个实例都是由一些特征和一个分类标签组成；通常还会存在一个测试集，用来测试训练出来的分类模型的准确性。其实kNN算法并没有体现出有监督学习的所有特点，没有模型，只有算法。甚至可以说这就是一种暴力扫描法，运行效率上比较低效。


在理解算法之前，先要了解多维空间中两个点之间的距离的概念，这个应该不难，这里的距离使用高中数学中的欧式距离。

d=sqrt( ∑(xi1-xi2)^2 ) 这里i=1,2..n

Nearest Neighbors——最近的邻居——也就是说要判定一个点A属于哪一类，我们就要看离A点最近的那个点属于哪一类；再加一个k，就是说要使用离A点最近的k个点的类别信息来判定：如果k=10，其中有8个点是属于第一类，那么A点就属于第一类。这实际上就kNN算法的核心了。


还有一种情况：现实中的特征向量，可能包含各种维度，比如人的身高、体重、朋友数量，这三个维度的值的比对是没有意义的，具体到空间中的距离计算，可能就会产生某个维度的数据决定了向量之间的距离的情况。因此，我们必须对每个特征向量做标准化处理（normalization）。一般来说，我们可以将维度的值映射到0-1之间的位置上，很容易做到这点：对于每个特征的值，我们只需要应用以下的公式即可：

newValue = (oldValue-min)/(max-min)



tinyid
关注
专栏目录
KNN（K-Nearest Neighbors, K近邻算法）介绍与实战练习
09-19
KNN（K-Nearest Neighbors, K近邻算法）是机器学习中一种经典的监督学习算法，常用于分类和回归问题。其基本思想可以通过一句俗语概括——“近朱者赤，近墨者黑”，即根据目标数据点附近的样本来决定其类别或值。KNN...
【机器学习】K近邻算法（K-NearestNeighbors , KNN）详解 + Java代码实现
热门推荐
知不足而奋进，望远山而前行
01-09 2万+
邻近算法，或者说K最邻近（KNN，K-NearestNeighbors）分类算法是分类方法中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法。KNN 最初由 Cover 和 Hart 于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。
K近邻 K-Nearest Neighbors
JasonH2021的博客
05-27 3261
本文主要简单介绍了K近邻的基本概念，优缺点，应用场景，K近邻建模的python实现方法，示例和模型的参数等。
算法——k-近邻算法
最新发布
m0_66890670的博客
08-11 1217
对k-近邻算法的详细学习，包括k-近邻算法流程，k值选取，kd树，k-近邻算法的python代码，k-近邻算法的优缺点总结。
（FLANN论文）fast approximate nearest neighbors with automatic algorithm configuration——中英对照翻译
Cristina的博客
06-24 1715
Abstract 在许多计算机视觉问题中，最耗时的部分是高维空间中的最近邻匹配。 没有已知的精确算法能比线性搜索更快地解决这些高维问题。 众所周知，近似算法可以提供很大的加速，但精度损失很小，但许多这样的算法已经发表，对于任何给定的问题，在选择算法及其参数方面只有很少的指导。 在本文中，我们描述了一个回答“什么是最快的近似最近邻算法”问题的系统 我们的系统将采取任何给定的数据集和所需的精度，并使用这些自动确定最佳算法和参数值。 我们还描述了一种新的算法，将优先级搜索应用于分层k-means树，这种算法可以
【k近邻】 K-Nearest Neighbors算法汇总
Frost_Descent的博客
02-21 1013
女性脚43码的可能性远远小于男性脚43码的可能性，算法却错误地预测F为女性，这不是算法的问题，这是各个特征量纲不同的问题，这里量纲直接导致身高的权重远大于脚码的权重，进而导致预测错误。例如下图展现了两类样本数据，分别由正方形和三角形表示，待分类数据由圆形表示，算法的目的是依据已知的样本数据判断待分类数据的类别，即对圆形数据分类。A [(179,42),男]，B [(178,43),男]，C [(165,36)女]，D [(177,42),男]，E [(160,35),女]，取每一轴上的最大值减最小值。
k-Nearest Neighbors(k近邻算法)
Steve Wang's blog
06-02 5053
内容总结自花书《deep learning》Chapter5，由英文版翻译而来，英文版可以在其官网免费查阅。同时博主也发明中文翻译版的诸多错误和不细致的地方，建议阅读英文版。 k-Nearst Neighbors(k近邻算法 近邻回归算法(nearest neighbor regression)模型简单地存储来自训练集的X\pmb{X}XXX和y\pmb{y}y​y​​y，当被要求分类一个测试...
K-最近邻算法（K-Nearest Neighbors）
04-15
K-最近邻算法（K-Nearest Neighbors，简称kNN或k-NN）是一种基本的分类与回归方法。该算法的中心思想是基于相似性原理，通过比较未知样本与已知样本间的相似度（或称为距离），将未知样本分配到与它最相似的已知样本...
knn.sav(K-Nearest Neighbors)
08-10
knn.sav 这个文件名暗示它是一个使用K最近邻（K-Nearest Neighbors，简称KNN）算法训练好的模型的保存文件。KNN是一种简单的机器学习算法，用于分类和回归任务。它通过查找测试数据点的K个最近邻居来进行预测。 ...
用于图像分割的 K-Nearest Neighbors：K-Nearest Neighbors 算法的实现。-matlab开发
05-30
脚本示例： ------------- k-近邻的% k k = 3 ; % 生成一个测试图像数据，一个 3 x 3 的矩阵，值是两倍% 范围从 10 到 20 im_test_data = [10 20 30; 20 10 30; 20 10 30]； % 从测试数据图像生成训练/学徒数据图像...
KNN（K-Nearest Neighbors）算法详细介绍及使用示例
12-28
KNN（K-Nearest Neighbors）算法是一种经典的监督学习方法，主要用于解决分类和回归问题。KNN算法基于实例学习，其核心思想是利用新样本与其最近邻居的相似性来进行预测。当面对一个新的实例时，KNN会找到训练集中的...
FAST APPROXIMATE NEAREST NEIGHBORS WITH AUTOMATIC ALGORITHM CONFIGURATION
03-06
For many computer vision problems, the most time consuming component consists of nearest neighbor matching in high-dimensional spaces. There are no known exact algorithms for solving these high-dimensional problems that are faster than linear search. Approximate algorithms are known to provide large speedups with only minor loss in accuracy, but many such algorithms have been published with only minimal guidance on selecting an algorithm and its parameters for any given problem. In this paper, we describe a system that answers the question, “What is the fastest approximate nearest-neighbor algorithm for my data? ” Our system will take any given dataset and desired degree of precision and use these to automatically determine the best algorithm and parameter values. We also describe a new algorithm that applies priority search on hierarchical k-means trees, which we have found to provide the best known performance on many datasets. After testing a range of alternatives, we have found that multiple randomized k-d trees provide the best performance for other datasets. We are releasing public domain code that implements these approaches. This library provides about one order of magnitude improvement in query time over the best previously available software and provides fully automated parameter selection.
机器学习算法：K近邻(k-nearest neighbors)
qq_27328197的博客
12-21 1618
文章目录1、KNN的介绍2、KNN的应用 1、KNN的介绍 kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。 示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋.
大数据技术之机器学习K 近邻（k-nearest neighbors）算法
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
03-27 1042
k近邻方法是一种惰性学习算法，可以用于回归和分类，它的主要思想是投票机制，对于一个测试实例x, 我们在有标签的训练数据集上找到和最相近的k个数据，用他们的label进行投票，分类问题则进行表决投票，回归问题使用加权平均或者直接平均的方法。knn算法中我们最需要关注两个问题：k值的选择和距离的计算。 kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。
阿里云天池机器学习训练营(Day7, Day8):机器学习算法（三）：K近邻(k-nearest neighbors)初探
weixin_43332727的博客
12-21 522
1 KNN的介绍和应用 1.1 KNN的介绍  kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。    示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形
K近邻（KNN）算法（算法原理＋简单的实现）
m0_63180382的博客
10-09 4890
根据选择的距离度量（如曼哈顿距离或欧氏距离），可计算测试实例与训练集中的每个实例点的距离，根据k值选择k个最近邻点，最后根据分类决策规则将测试实例分类。因为在k近邻算法中，预测结果是通过与目标数据点距离最近的k个邻居的标签值来确定的。如下图，根据欧氏距离，选择k=4个离测试实例最近的训练实例（红圈处），再根据多数表决的分类决策规则，即这4个实例多数属于“-类”，可推断测试实例为“-类”。平均法：在回归问题中，KNN算法采用平均法来预测待回归样本的输出值，即选择K个邻居的输出值的平均值作为待回归样本的输出。
机器学习之——K近邻（KNN）算法
m0_63916929的博客
10-09 5393
KNN是一种基于实例的学习算法，它根据训练样本的特征和对应的类别标签，通过计算测试样本与训练样本之间的距离来进行分类预测。本次实验使我们了解了K近邻算法的基本原理，概念模型以及算法流程，学会了如何使用KNN算法来解决一些简单的分类问题，解决问题：在导入数据源后输出打印资源矩阵与标签矩阵时标签矩阵输出全为0，或者是显示字符串转换为float类型失败，在查找问题后发现是资源文件中数据的储存必须按照float型进行存储，否则资源数据读取有误，无法正常导入，
k-nearest neighbor(kNN,k近邻算法)理论与实操及KNeighborsClassifier参数详解
zero33325的博客
08-22 1万+
1. k-NN算法简介 k近邻法是基本且简单的分类与回归方法，利用数据集对特征向量空间进行划分，可以进行多分类。如下图： 三角形与矩形分别代表两类数据，标签已知。现要对新输入的为分类点(绿色)进行分类，k-NN的做法是寻找与该绿点相邻最近的k个点(k-NN算法的k的含义，图中的距离为欧式距离)，然后通过多数表决的方式把绿点划分到这k个最近点出现频数最高的类。例如如果k取3，则绿点最近的3个点中频数最高为三角形类，所以归为三角形类；若k取5，则距离绿点最近的5个点中频数最高为矩形类，所以归绿点为矩形类。 1.
k-NN最近邻算法(k-nearest neighbors algorithm)
wangprince2017
10-07 5427
本文是一篇k-NN学习笔记，内容如下： 一. k-NN简介 二. k-NN原理 三. 关于 k-NN的进一步讨论 3.1 K的大小怎么选择? 3.2 怎么计算最近“邻居”? 3.3 既然是监督学习，怎么训练？ 3.4 k-NN怎么用于回归？ 3.5 最后，为什么选择k-NN? 四. k-NN应用-提高约会对象匹配(python) 4.1 读文件，解析特征向量和类别标签 4.2 特征标准化 4.3 画散点图，观察特征 4.4 利用k-NN算法进行分类 ...
KNN算法详解：监督学习中的重要分类与流程
在机器学习的基本分类中，KNN（k-Nearest Neighbors，k近邻）算法是一种基于实例的学习方法，它属于监督学习的一种。监督学习的特点是数据集中每个样本都有预设的标签，用于指导模型的学习和预测。KNN的主要任务是在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值