机器学习理论梳理2 : KNN K近邻分类模型

最新推荐文章于 2022-05-31 10:42:15 发布
最新推荐文章于 2022-05-31 10:42:15 发布
阅读量712 收藏 1
点赞数 1
分类专栏： 机器学习 文章标签： 机器学习 近邻算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cy_coding/article/details/120890844
版权
K近邻模型是监督学习中的判别式模型，用于分类问题。通过计算新实例与已有数据集的距离，选择最近的K个邻居进行分类。K值的选择和距离度量对算法性能至关重要。KNN的缺点是随着数据量增加，计算成本增加。解决策略包括数据降维和使用类中心点代替所有实例计算距离，以提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文主要梳理KNN，K近邻模型的基本原理。

从机器学习的大分类来看，K近邻模型属于监督学习中的一种判别式模型，常用于分类问题。初始的数据集中，包含了已经分类标签好的数据。一句话来说，K近邻模型就是通过计算实例与现有数据集中所有数据的数学距离，从中挑选出K个最近的例子。在这K个例子中，占据大多数的分类就是新的实例的分类。

在这里插入图片描述
在使用K近邻法时，需要注意的就是定义好数学意义上的距离(一般使用欧拉距离)以及选取合适的K值。这个方法作为分类器的优势在于实现简单，没有先行的假设，但其局限性也很明显，随着样本以及数据量的上升，运算成本也是同比例地增加。

有两种主要的思路，来加速K近邻法的运算。首先我们可以利用PCA主成分分析，或者LDA线性判别分析来对原始数据进行降维处理，降维后再计算向量之间的距离就可以提高效率。

其次，在实现过程中，我们放弃计算新的实例和每一个数据集中的例子的距离，而是先计算各个分类中所有已知数据的平均值，通过新的实例与这个平均值之间的距离来进行分类，虽然一定程度牺牲了分类的准确性提高了不可避免的误差，但却可以大幅度加速我们算法运行的速度。
d E

最低0.47元/天 解锁文章
学习笔记(一):K近邻(KNN)算法
xdg2008的专栏
01-08 802
目录: 1、案列背景： 2、特征数据 3、K-近邻算法讲解及一般流程 4、算法步骤及代码实现 5、算法结果 1、案列背景： 紫薇藤女士, 一直在某婚恋网站上寻找自己中意的他, 网站给她推荐了很多男士, 但是她并不是每个都喜欢, 网站统计了这些男士的情况， 这些男士可以划分为如下几类: (1)不喜欢的人(didntLike) (2)魅力一般的人(sm...
机器学习之KNN（k近邻）笔记梳理
qq_45004292的博客
05-03 494
a function that assigns a strictly positive length or size to each vector in a vector space， except for the zero vector. ——Wikipedia
分类模型-K近邻（KNN）
hyunbar的博客
06-09 1943
1、KNN概述 最简单最初级的分类器，就是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类 K近邻（k-nearest neighbour,KNN）是一种基本分类方法，通过测量不同特征值之间的距离进行分类。 k近邻的四路是：如果一个样本在特征控件中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个...
机器学习之k-近邻算法学习（KNN)
gwk1234567的博客
08-01 2891
最近学习的《机器学习实战》，书中的代码思想介绍比较简单，网上搜索的博客也层出不穷，所以自己写个关于机器学习的博客，加深自己的学习印象，也可以让自己以后可以随时回顾。 机器学习的主要任务就是对数据进行分析挖掘，提炼出有价值的信息，其中也包括了很多的算法，本篇博客介绍的也是其中之一的k-近邻算法。所以先对k-近邻算法做个介绍，他的工作原理就是存在一个样本数据集合，也称为训练样本集（大量已知的分类数据），并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新
统计学习方法笔记 k近邻法（knn)
weixin_56674346的博客
05-31 415
统计学习方法笔记——第3章 k近邻法
判别式模型与生成式模型
程序员养成日记
12-04 233
参考文章： https://blog.csdn.net/jesmine_gu/article/details/85759298 基本概念 监督学习的任务是学习一个模型，应用这个模型对给定的输入预测相应的输出。监督学习又分为生成方法和判别方法，所学到的模型称为生成模型与判别模型。 生成模型：估计的是联合概率分布，然后求出条件概率分布作为生成的模型。生成方法关系的是给定输入x产生输出y的生成关系。 判...
掌握K近邻算法：机器学习代码调试技巧
资源摘要信息:"机器学习K近邻算法调试代码" 知识点： 1. K近邻算法（K-Nearest Neighbors，KNN）概述： K近邻算法是一种基本的分类与回归方法。在分类问题中，给定一个训练数据集，对新的输入实例，在训练集中找到...
第六篇：机器学习基础：机器学习应用的框架梳理：数据集导入与划分、特征工程数据预处理、常见分类算法、Pipeline和GridSearchCV、模型评估测试与模型性能评价、模型保存与加载
haiwang_luo的博客
05-29 1063
1 导入数据与划分数据集 1.1。导入数据： 使用 pandas.read_csv(‘https://…’, header=‘infer’, index_col=None) 1.2。随机抽样： DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)[source] n=3：提取3行数据列表 frac=0.8： 抽取其中80% r
统计学习方法---KNN(K近邻)
飘过的春风
11-14 1519
前言k邻近算法（k-nearest）是一种判别模型，解决分类问题和回归问题，以分类问题为主，在此我们也主要介绍分类问题中的k近邻算法。k近邻算法的输入为实例的特征向量，对应予特征空间中的点；输出为实例的类别，可以取多类，（前面我们介绍的三种方法主要是解决二分类问题）。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等决策方法进...
机器学习：生成式模型和判别式模型
Yucen的博客
12-23 9602
决策函数Y=f(X)与条件概率分布P(Y|X) 决策函数Y=f(x)：输入一个x，它就输出一个y值，这个y与一个阈值比较，根据比较结果判定x属于哪个类别。 条件概率分布P(y|x)：输入一个x，它通过比较它属于所有类的概率，然后预测时应用最大后验概率法（MAP）即比较条件概率最大的类为x对应的类别。 举个例子，对于一个二分类问题：对于Y=f(x)形式的分类模型，如果输出Y大于某个阈值V就属于...
机器学习——【3】分类算法：KNN（K近邻）算法
王同学的博客
10-20 4450
机器学习——【3】KNN算法理论 1. 从案例中说起 一个有关电影分类的例子： 这是一个根据打斗次数和接吻次数作为特征来进行类型的分类。最后一条的记录就是待分类的数据。 KNN这个分类过程比较简单的一个原因是它不需要创建模型，也不需要进行训练，并且非常容易理解。把例子中打斗次数和接吻次数看成是x轴和y轴，那么就很容易能建立一个二维坐标，每条记录都是坐标中的点。对于未知点来说，寻找其最近的几个点，哪种分类数较多，未知点就属于哪一类。 2. 算法说明 KNN算法的思路是: 如果一个样本在特征空间中的 k 个最
判别式模型和生成式模型的区别（discriminative model and generative model）
amblue的专栏
11-29 1万+
在NLP和机器学习中经常会遇到这两种显著不同的模型，在学习阶段（训练阶段）和评估阶段（测试阶段）都有不同的表现 总结一下它们之间的区别，欢迎补充： 1. 二者最本质的区别是建模对象不同    假设有样本输入值（或者观察值）x，类别标签（或者输出值）y    判别式模型评估对象是最大化条件概率p(y|x)并直接对其建模，生成式模型评估对象是最大化联合概率p(x,y)并对其建模。
什么是判别式模型和生成式模型
热门推荐
qq_41853758的博客
06-30 2万+
判别式模型(Discriminative Model)：直接对条件概率p(y|x)进行建模，常见判别模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等；生成式模型(Generative Model)：对联合分布概率p(x,y)进行建模，常见生成式模型有：隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等；生成式模型更普适；判别式模型更直接，目标性更强生成式模型关注数据是...
机器学习--判别式模型与生成式模型
weixin_34026276的博客
11-01 235
一、引言 　　本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu 　　在上一篇有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoid函数）。假设现在有一个分类问题，要根据一些动物的特征来区分大象(y = 1)和狗(y =...
生成式模型（generative） vs 判别式模型（discriminative）
weixin_30838921的博客
03-04 579
Andrew Ng, On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes 无论是生成式模型还是判别式模型，都可作为分类器使用，分类器的数学表达即为：给定输入 X 以及分类变量 Y，求 P(Y|X)。 判别式模型...
K-近邻（KNN）模型详解
数据森麟
04-25 1万+
作者：青十五 来源：青十五K-近邻（K- Nearest Neighbor，KNN）模型是一个非常简单与直观的模型，其基本思想可以用这样一句俗语来解释——“近朱者赤，近...
机器学习之K近邻（KNN）模型
havefun00的博客
03-07 6866
机器学习之KNN 本文主要介绍K近邻（KNN）模型，KNN在机器学习中是很常见的： 1、KNN模型介绍 2、KNN数学原理 3、算法及Python实现 4、小结 1、KNN模型介绍 k近邻法（k-nearest neighbor, k-NN）是一种基于分类与回归方法，这里只讨论分类问题中的k近邻法。k近邻假定给定一个训练数据集，其中实例类别已定，分类时，对新的实例，根据其k个最近邻...
K近邻(KNN)
星辰的博客
08-22 2046
K近邻法假设给定一个训练数据集，其中的实例类别已定。分类时对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。K近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。K值的选择、距离度量及分类决策规则是K近邻法的三个基本要素。 关键理论或技术技术 K近邻算法简单、直观，给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分为这个类。 （1）k近邻法是基本且简单的分类与回归方法。K近邻的基本做法是：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值