机器学习 之 K近邻(KNN)，各种距离(范数)

最新推荐文章于 2024-08-08 22:03:12 发布
最新推荐文章于 2024-08-08 22:03:12 发布
阅读量1k 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HeroIsUseless/article/details/108940921
版权
本文探讨k-最近邻(kNN)算法中k的选择原则，介绍如何通过交叉验证确定最佳k值，并解析最近邻判断的方法，包括欧式范数和归一化技巧。重点讲解kNN的时间复杂度、空间复杂度，以及其作为非参数模型的特点和适用场景。
摘要由CSDN通过智能技术生成

思想是在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中（这就类似于现实生活中少数服从多数的思想）。

但k怎么确定的，k为多少效果最好呢？(其实是超参数，不能用数据进行调整的，只能用交叉验证推算)

如果我们选取较小的k值，那么就会意味着我们的整体模型会变得复杂，容易发生过拟合！(容易被噪声占据优势)

如果我们选取较大的k值，就相当于用较大邻域中的训练数据进行预测，这时与输入实例较远的（不相似）训练实例也会对预测起作用，使预测发生错误，k值的增大意味着整体模型变得简单。不解释。

k值既不能过大，也不能过小，要恰当好。通常采取交叉验证法来选取最优的k值。（也就是说，选取k值很重要的关键是实验调参，类似于神经网络选取多少层这种，通过调整超参数来得到一个较好的结果）

所谓的最近邻又是如何来判断给定呢？
这个就是各种距离，两个点之间的距离还是很好计算的。

而且还有归一化的问题，这个不难( x − a b − a \frac{x-a}{b-a} b−

最低0.47元/天 解锁文章
才大难为用
关注
专栏目录
机器学习之KNN（k近邻）算法详解
平原的博客
07-03 14万+
1-1 机器学习算法分类 一、基本分类： ①监督学习（Supervised learning） 数据集中的每个样本有相应的“正确答案”， 根据这些样本做出 预测， 分有两类： 回归问题和分类问题。 步骤1： 数据集的创建和分类 步骤2： 训练 步骤3： 验证 步骤4： 使用 （ 1） 回归问题举例 例如： 预测房价， 根据样本集拟合出一条连续曲线。 （ 2） ...
机器学习KNN（K近邻）算法及其基本原理介绍
白话机器学习
05-07 2139
KNN(K-Nearest Neighbor)，也叫K近邻，是最简单的机器学习算法之一，对于分类和归回问题均适用，是一种有监督学习算法。 算法的基本假设是，如果我们找到某个样本在特征空间中的K个与其最相似（即特征空间中最近邻）的样本，那么这K个样本中的大多数属于某一个类别，则该样本也属于这个类别。
【K近邻（KNN）算法（一）】KNN的概念
01-07
文章目录K-最近邻算法1.算法介绍2.算法公式（1）分类（2）回归（不好，可以不看）（3）L1和L2范数距离L1范数距离(曼哈顿距离):L2范数距离(欧几里得距离):闵可夫斯基（knn中使用）3.K值选择举例 K-最近邻算法 1.算法介绍 属于有监督学习，知道可能的结果。属于多分类算法。K NearestN eighbors算法又叫K – NN算法，这个算法是机器学习里面一个比较经典的算法，总体来说K – NN算法是相对比较容易理解的算法。十大机器算法之一。 定义 如果一个样本在特征空间中的 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。 来源： 算法最
KNN的距离都有哪些
WX_Chen的博客
07-01 3845
在KNN算法中，常用的距离有三种，分别为曼哈顿距离、欧式距离和闵可夫斯基距离。 闵可夫斯基距离： 这里的p值是一个变量， 当p=1的时候就得到了曼哈顿距离 ； 当p=2的时候就得到了欧氏距离。 切比雪夫距离： 当p趋向于无穷大时， 曼哈顿距离、欧氏距离和切比雪夫距离都是明可夫斯基距离在特殊条件下的应用。
KNN算法（距离度量、归一化标准化）--day06
最新发布
qq_56750282的博客
08-08 1891
其中p≥1 是闵可夫斯基指数。切比雪夫距离（Chebyshev distance），也称为棋盘距离或无限范数距离，是在几何空间中计算两点之间的距离的一种方法，它使用的度量方式是各坐标数值差的绝对值的最大值。闵可夫斯基距离是一种重要的距离度量方法，能够根据p的值在曼哈顿距离和欧氏距离之间进行平滑过渡，并且可以适应不同的数据特性和应用需求。闵可夫斯基距离（Minkowski distance）是一种通用的距离度量方法，可以统一描述曼哈顿距离和欧氏距离，并且可以根据参数p的不同取值，适应不同类型的数据和问题。
knn算法（监督学习+分类）；多种距离+预测值比较
三日小先森的博客
03-31 3261
机器学习中的各种距离 机器学习中的各种距离：https://blog.csdn.net/qq_26091271/article/details/52528625
KNN复杂度分析及KD树
我们的征途是星辰大海
09-27 8358
复杂度一般分为两种，时间复杂度和空间复杂度。这里的时间复杂度指的是程序运行时花费的时间，空间复杂度指的是内存消耗的大 小。 KNN在搜索阶段的时间复杂度是多少？ 我们都知道KNN在训练阶段不参与任何实质性的模型训练，但在测试阶段需要跟每一个样本做距离的计算。数据量少的时候倒没有关系，但一旦数据量很大时就成为一个瓶颈。 假如有N个样本，而且每个样本的特征为D维的向量。那对于一个目标样本的预测，需要的...
机器学习-机器学习常见算法时间复杂度
数据笔记
07-18 2万+
有了算法复杂度的估计，才有了整个算法更好的优化头绪和方向。 1. KNN 时间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n) 空间复杂度o(n*k)：n为样本数量，k为单个样本特征的维度。如果不考虑特征维度的粒度为o(n) 参考： https://blog.csdn.net/saltriver/article/details/52502253...
机器学习之KNN（k近邻）笔记梳理
qq_45004292的博客
05-03 438
a function that assigns a strictly positive length or size to each vector in a vector space， except for the zero vector. ——Wikipedia
kNN算法的优缺点
热门推荐
芦金宇的专栏
11-03 2万+
1.kNN算法的优缺点 优点 简单好用，容易理解，精度高，理论成熟，既可以用来做分类也可以用来做回归；可用于数值型数据和离散型数据；训练时间复杂度为O(n)；无数据输入假定；对异常值不敏感。 缺点： 计算复杂性高；空间复杂性高；样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；一般数值很大的时候不用这个，计算量太大。但是单个样本又不能太少，否则容易发生误分。
K近邻算法(KNN)原理整理小结
dongbao520的博客
06-28 3040
K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法了，在我们平常的生活中也会不自主的应用。比如，我们判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。KNN方法既可以做分类，也可以做回归，这点和决策树算法相同。KNN算法是选择与输入样本在特征空间内最近邻的k个训练样本并根据一定的决策规则，给出输出结果 。KNN算法是很基本的机器学习算法了，它非常容易学习，在维度很高的时候也有很好的分类效率，因此运用也很广泛。决策规则：....
KNN算法总结
qq_27594751的博客
05-22 236
1K-邻近算法（KNN） 工作原理： 存在一个样本训练集，并且每个样本集中每个数据都存在标签。当输入没有标签的新数据时，将新数据的每个特征与样本集中数据对应的几个特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。 具体实现： 1、计算已知类别中的点与当前点的距离； 2、按照距离递增次序排序； 3、选出与当前点距离最小的的K个点； 4、确定k个点钟所在类别出现的频率
k-近邻（KNN）算法详解
weixin_60737527的博客
07-01 2533
KNN算法原理与算法实现。
KNN算法优缺点、原理及参数最优解
qq_42546127的博客
11-28 1万+
​ KNN算法 KNN算法简介 简单地说，K-近邻算法采用测量不同特征值之间的距离方法进行分类（k-Nearest Neighbor，KNN） 优缺点： 优点：精度高、对异常值不敏感、无数据输入假定。 缺点：时间复杂度高、空间复杂度高。 当样本不平衡时，比如一个类的样本容量很大，其他类的样本容量很小，输入一个样本的时候，K个临近值中大多数都是大样本容量的那个类，这时可能就会导致...
KNN(K近邻)算法
Ricky
12-10 1566
介绍               K近邻算法又叫KNN(K Nearest Neighbor)算法，这个算法是机器学习里面一个比较经典的算法，其中的K表示最接近自己的K个数据样本。 KNN和K-Means算法的区别 K-Means算法用来聚类，用来判断哪些样本是一个比较相近的类型，属于非监督算法。KNN算法是用来做分类的。也就是说，有一个数据集里的样本的label已经确定了，然后，给
机器学习算法（二）KNN
学习 & 分享 ~
06-02 2018
比如有一个训练集，且训练集中的每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）数据的分类标签。一般选择样本数据集中前 k 个最相似的数据，k 为不大于 20 的整数。最后，选择这 k 个最相似数据中出现次数最多的分类，作为新数据的分类标签。优点：精度高、对异常值不敏感、无数据输入假定 缺点：计算复杂度高、空间复杂度高 使用数据范围：数值型和标称型（1）收集数据：可以使用任何
KNN浅析（距离、k值等）
m0_37075274的博客
05-16 5209
KNN 是一个直观而易于实现的分类算法，其效果在许多实际应用中令人满意。通过合理选择距离度量和优化 K 值，可以提升模型的性能。然而，训练集的规模和特性、数据的维度、距离度量的选择等都需要谨慎考量以避免分类错误。
机器学习基础：KNN算法深度解析与应用
"机器学习之KNN（k近邻）算法详解" KNN，全称k-最近邻（k-Nearest Neighbor），是一种简单且基础的机器学习算法，主要用于分类和回归问题。它属于监督学习方法，其中每个样本都有已知的正确答案（标签）。在KNN算法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值