机器学习08：最近邻学习

已于 2023-01-16 13:38:16 修改
阅读量339 收藏
点赞数 2
分类专栏： 机器学习 文章标签： 人工智能
于 2022-07-13 17:04:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myf_666/article/details/125146067
版权

作者：非妃是公主
专栏：《机器学习》
个性签：顺境不惰，逆境不馁，以心制境，万事可成。——曾国藩
在这里插入图片描述

专栏地址

《机器学习》专栏地址

专栏系列文章

机器学习01：绪论

机器学习02：模型评估

机器学习03：线性回归与多分类学习

机器学习04：支持向量机

机器学习05：神经网络学习

机器学习06：决策树学习

机器学习07：贝叶斯学习

机器学习08：最近邻学习

机器学习09：无监督学习

机器学习10：集成学习

机器学习11：代价敏感学习

机器学习12：演化学习

文章目录

最近邻学习基础知识

根据分类的定义可知：分类包含两个阶段：训练阶段和工作阶段。

积极学习

到目前为止，我们前面介绍的所有机器学习技术都有显式的训练过程，都是在训练阶段就对训练样本进行学习处理，构建起分类模型，这类机器学习技术统称为“积极学习” (eager learning)。

消极学习

这一章我们将要介绍的最近邻学习，没有显式的训练过程，在训练阶段只是把训练样本保存起来，建模工作延迟到工作阶段才进行处理，这类机器学习技术统称为“消极学习”(lazy learning)

最近邻学习

最近邻学习不是在整个样本空间上一次性地估计目标函数，而是针对每个待测样本作出局部的目标函数逼近。当目标函数很复杂，但它可以用不太复杂的局部函数来逼近时，这样做有非常明显的优势。
最近邻学习可以为不同的待测样本构建起不同的目标函数逼近，因此相比于那些积极的学习技术，最近邻学习往往具有较高的分类性能。

最近邻学习基本思想

在这里插入图片描述
其实就是找到离待测样本最接近的k个样本，并统计他们的label，比如投票，哪个票数多就选哪个label作为样本的label。

最近邻学习常见问题

近邻索引为题

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在决策树的叶子结点上进行K-近邻索引

维度灾害问题

在这里插入图片描述
两种解决办法，属性加权和属性选择

邻域大小问题

在这里插入图片描述

后验概率问题

在这里插入图片描述

计算效率问题

在这里插入图片描述

归纳偏置问题

在这里插入图片描述
对不同属性增加权值来实现。

最近邻算法的改进——距离加权

在这里插入图片描述

Cherries Man
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
三维点云处理之最近邻问题
LDST_CSDN的博客
04-26 1908
本系列文章是关于三维点云处理的常用算法，深入剖析pcl库中相关算法的实现原理，并以非调库的方式实现相应的demo。
机器学习-KNN（最近邻）详解
INFINALGEORGE的博客
06-04 1674
K-近邻算法原理 K最近邻(kNN，k-NearestNeighbor)分类算法，见名思意：找到最近的k个邻居（样本），在前k个样本中选择频率最高的类别作为预测类别，什么？怎么那么拗口，没图说个JB，下面举个例子，图解一下大家就会显而易见了，如下图： 我们的目的是要预测某个学生在数学课上的成绩。。。 先来说明几个基本概念：图中每个点代表一个样本（在这里是指一个学生），横纵坐标代表了特征（到课率，作业质量），不同的形状代表了类别（即：红色代表A（优秀），绿色代表D（不及格））。我们现在看（10，20）这个.
【机器学习】K-近邻算法详解(含算法样例代码实现)
weixin_52185996的博客
02-23 2140
近邻算法就是，先给定一个训练数据集，这个数据集中可能是某类物品的特征及分类，然后给出某个物品的特征，根据训练数据集中的各个物品的特征与这个需要判别分类的物品的“距离”远近，找出距离最近的 个，然后这 个物品中最多物品所归属的那个分类就是这个需要判别的物品所归属分类判断的结果。
【最近邻对比学习】Nearest-Neighbor Contrastive Learning of Visual Representations
m0_55196097的博客
05-03 989
我们做出了以下贡献:(i)我们引入了NNCLR来学习超越单实例阳性的自监督表示，而不依赖于聚类;(ii)我们证明了NNCLR将对比学习方法(例如SimCLR[12])的性能提高了约3:8%，并且在ImageNet分类上实现了具有有限标签的线性评估和半监督设置的最先进性能;(iii)在12个迁移学习任务中的8个上，我们的方法在自监督甚至监督特征(通过监督ImageNet预训练学习)上都优于最先进的方法;
机器学习——K最近邻算法（KNN）
2301_78630677的博客
09-10 564
在传统机器学习中，KNN算法是一种基于实例的学习算法，能解决分类和回归问题，而本文将介绍一下KNN即K最近邻算法。本文从KNN算法的原理：(根据样本之间的距离来预测)出发，介绍了一些常见的距离度量方法,另外也介绍了一下在Markdown编辑器中输入数学公式，最后就是KNN算法在python中的分类和回归代码的实现。最后的最后就是模型的保存和加载。 道可道，非常道；名可名，非常名。 –2023-9-10 筑基篇。
【机器学习】深入探讨基于实例的学习及K-最近邻算法
chen695969的博客
03-29 857
基于实例的学习，或称案例推理，属于机器学习中的一种懒惰学习方法。不同于在训练阶段构建显式模型的积极学习，懒惰学习算法直到接收到预测请求才开始分类过程，通过在训练数据中查找与新实例最相似的案例来进行预测或分类。基于实例的学习及其代表算法KNN在机器学习领域中占据了重要位置。它们以简单直观的方式提供了解决分类和回归问题的有效手段。尽管面临维度诅咒等挑战，通过合理的策略和优化，KNN算法仍然是一个强大且灵活的工具，能够应对各种复杂的数据分析任务。
机器学习K最近邻算法.py
04-25
机器学习K最近邻算法.py
python机器学习实战之最近邻kNN分类器
12-23
K近邻法是有监督学习方法，原理很简单，假设我们有一堆分好类的样本数据，分好类表示每个样本都一个对应的已知类标签，当来一个测试样本要我们判断它的类别是， 就分别计算到每个样本的距离，然后选取离测试样本...
Python 机器学习实战：根据成绩预测大学生能否被高校录取.zip
04-28
在接下来的几十年里，机器学习领域取得了许多重要的进展，包括最近邻算法、决策树、随机森林、深度学习等算法和技术的发展。 机器学习有着广泛的应用场景，如自然语言处理、物体识别和智能驾驶、市场营销和个性化...
基于Python常用机器学习算法的简洁实现之k最近邻.zip
最新发布
05-12
在机器学习领域，Python语言因其丰富的库支持和易读性，成为了数据科学家和工程师的首选工具。本资源主要关注的是Python中的k最近邻（k-Nearest Neighbors, k-NN）算法，这是一种非参数监督学习方法，适用于分类和...
机器学习实战之K最近邻(KNN)分类算法学习笔记代码及文件.zip
04-18
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构，从而不断改善...
机器学习-KNN最近邻算法原理及实践
qq_45700097的博客
07-26 3317
机器学习算法KNN最近邻算法
【ACL 2022】用于多标签文本分类的对比学习增强最近邻机制
11-20 1831
多标签文本分类（MLTC）是自然语言处理中的一项基本且具有挑战性的任务。以往的研究主要集中在学习文本表示和建模标签相关性上。然而，在预测特定文本的标签时，通常忽略了现有的类似实例中的丰富知识。为了解决这一问题，作者提出了一个k最近邻（kNN）机制，该机制检索几个相邻实例并用它们的标签值作为模型的输出。此外，作者设计了一个多标签对比学习目标，使模型学习到kNN的分类过程，并提高了在推理过程中检索到的相邻实例的质量。
【机器学习】最近邻策略：k-means和KNN
artzers的专栏
03-23 3914
假设我们已经利用一堆样本{(x,y)}进行了训练，得到了k个分类和k个分类的重心，那么对于待测数据x’，计算x’到k个分类重心的距离，距离最近的分类y‘即为x’的分类。这是最近邻策略的基本思路，从中衍生了k-means和KNN方法。如何度量距离是一个复杂的问题，一般情况下我们习惯使用欧氏距离来表征分类距离。如果我们要调整n个分类特征的权重，可以修改距离度量的定义；可以将n个分类特征变为特征的函数f
机器学习问与答（七）：最近邻学习
qq_36149350的博客
04-19 1303
问题一： 还有哪些消极学习的机器学习算法？ KNN是使用最多的消极学习的机器学习算法。 此外还有： Case-based reasoning（案例推理）：是一种类比推理方法，它提供了一种近似人类思维模型的建造专家系统的新的方法学，这与人对自然问题的求解相一致。它强调这样的思想：人类在解决问题时，常常回忆过去积累下来的类似情况的处理，通过对过去类似情况处理的适当修改来解决新的问题。过去的类似情况及...
K-近邻学习（KNN）
xsfd
05-01 1765
KNN 分类学习算法 K近邻学习算法是一种基本的分类与回归学习算法，能力有限，简单介绍一下分类算法。K近邻学习算法是一种常用的监督学习算法。 算法机制 给定测试样本，基于某种距离度量找出训练集中的与其最靠近的K个训练样本，然后基于找到的K个近邻训练样本的类别信息来预测测试样本的类别。在分类任务中，一般采用投票法决定类别信息，根据K个近邻样本中出现最多的类别作为测试样本的类别。 算法...
测试使用K-最近邻（kNN）算法的30个问题
TensorFlowNews
09-25 6632
作者|SUNIL RAY 编译|Flin 来源|analyticsvidhya 介绍 如果你要问我机器学习中2种最直观的算法——那就是k最近邻（kNN）和基于树的算法。两者都易于理解，易于解释，并且很容易向人们展示。有趣的是，上个月我们对这两种算法进行了技能测试。 如果你不熟悉机器学习，请确保在了解这两种算法的基础上进行测试。它们虽然简单，但是功能强大，并且在工业中得到广泛使用。此技能测试将帮助你在k最近邻算法上进行自我测试。它是专为你测试有关kNN及其应用程序的知识而设计的。 超过650人注册了该
机器学习--K近邻算法（KNN）（2）
u010671028的博客
11-18 951
一、简介 K-Nearest-Neighbor 算法是一种常用的监督学习算法，它没有显式的训练过程，是‘懒惰学习’的显著代表，此类学习算法仅在训练阶段将训练集保存起来，训练时间开销为0，待收到测试样本后在进行处理 二、工作机制 给定测试样本，基于某种距离度量找出训练集种与其最靠近的k个训练样本，然后基于这k个‘邻居’的信息来进行预测。 在分类任务中，可使用“投票法”，即选择这k个样本中出现类别最多的标记作为预测结果；在回归任务中使用“平均法”，将这k个样本的实值输出标记的平均值作为预测结果；还可以基于距离远
KNN算法学习笔记
haiyang12138的博客
12-15 259
kNN算法 k近邻法（kNN），是一种基本分类和回归方法。分类问题中：输入为实例的特征向量，输出为实例的类别。k近邻法对于输入的实例x，根据所给定的距离度量，在训练集中找出与x最近邻的k个点，在这k个点中，根据分类决策规则决定x的类别y。 k近邻法抛不开训练集，因此没有显式的学习过程。 缺点： （1）没有明显的训练过程，在训练阶段所作的仅仅是将样本保存起来，如果训练集很大，必须使用大量的存储空间。 （2）必须对数据集中的每个数据计算距离值，实际中可能非常耗时。 为了克服缺点，可以使用一些特殊的存储方式存储训
Lecture2018_01_基于实例的学习_II1
08-04
"本次讲座的主题是‘基于实例的学习’，主要涵盖了最近邻规则（Nearest Neighbor Rule）、非线性回归模型、Kernels以及瓦森-纳达拉亚估计器（Watson-Nadaraya Estimator）的应用。课程由北京邮电大学的李春光教授...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Cherries Man

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值