机器学习笔记十-- 由kNN引入维度灾难并进行降维改善

最新推荐文章于 2023-08-05 22:24:44 发布
最新推荐文章于 2023-08-05 22:24:44 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44546905/article/details/106432227
版权
专业词汇k 近邻(k-Nearest Neighbor）密采样" (dense sample)维数灾难 (curse of dimensionality）降维(dimension red uction)"子空间" (subspace)"多维缩放" (Multiple Dimensional Scaling）kNNk近邻学习概述超参数：k的选则监督学习方法给定测试样本–>(基于某种距离度量)最靠近这个样本的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测分类任务中
摘要由CSDN通过智能技术生成

专业词汇

k 近邻(k-Nearest Neighbor）
密采样" (dense sample)
维数灾难 (curse of dimensionality）
降维(dimension red uction)
"子空间" (subspace)
"多维缩放" (Multiple Dimensional Scaling）

kNN

k近邻学习概述

  • 超参数：k的选则
  • 监督学习方法
  • 给定测试样本–>(基于某种距离度量)最靠近这个样本的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测
  • 分类任务中可使用"投票法"
  • 回归任务中时使用"平均法"
  • 基于距离远近进行加权平均或加权投票

假设1：样本独立同分布
假设2：任意测试样本 a 附近任意小的距离范围内总能找到一个训练样本，训练样本的来样密度足够大（密采样）（这个假设怎么做到呢？：归一化！）

它是一种懒惰学习，此类学习技术在训练阶段仅仅是把样本保存起来，训练时间开销为零，待收到 测试样本后再进行处理
之前的算法，那些在训练阶段就对样本进行学习处理的方法，称为急切学习

研究完贝叶斯分类器再回来分析kNN的错误率

kNN算法第二个假设实现的讨论

    最低0.47元/天 解锁文章
    Womeng_qin
    关注
    • 0
      点赞
    • 踩
    • 2
      收藏
      觉得还不错? 一键收藏
    • 1
      评论
    专栏目录
    机器学习（五）：KNN与维度灾难
    芙兰泣露的博客
    10-11 9280
    作为一个过渡，这一节记录关于knn的知识。 这篇博客不贴关于knn的具体细节了，knn是十分容易理解的，关于knn可参考的博客一大堆，贴一个讲的好的吧一只兔子理解knnKNN 选择样本数据集中与待预测值前k个最相似的样本，取其中最多的作为该待预测值的类 如果希望knn不给出所述的类，给出可能所述类的概率也是可行的。 很多人会疑惑k应该如何选取，一般来说，k靠经验，或者一个个试。也有个通俗的经
    kNN和MDS降维
    PKU_ZZY的博客
    08-23 2692
    kNN和MDS降维
    [转载]分类问题中的“维数灾难”
    图图酱的专栏
    08-02 1218
    原文地址：http://www.cnblogs.com/datahunter/p/3808252.html?utm_source=tuicool&utm_medium=referral　　在看机器学习的论文时，经常会看到有作者提到“curse of dimensionality”，中文译为“维数灾难”，这到底是一个什么样的“灾难”？本文将通过一个例子来介绍这令人讨厌的“curse of dimens
    KNN的维度灾难
    最新发布
    weixin_47125742的博客
    08-05 239
    变量增加=维度增加，如果想要取得更好的效果，该维度下就要让数据更密集（即训练集更大），但如上图所示从起初的4个点到二维、三维下，需要将整个空间布满的点数成指数级增长，显然不可能有着么多图片供我们训练。KNN中的维度灾难为，在高维空间，数据变得异常稀疏，这就使得即使是最近的邻居数据点（相对近而已），所需计算数据点之间的距离也变得异常得远：例如二维下两点间距离公式。，而三维下又加一组变量，显然在距离上的变化变得更为敏感了。这导致了随着变量的增加，训练集所要求的数据量呈指数级的增长，计算量也随之变得异常大。
    kNN的维数灾难与PCA降维
    weixin_30414305的博客
    10-24 278
    主成分分析 PCA 协方差矩阵 假设我们有 \[ X = \begin{pmatrix}X_1\\X_2\\\vdots\\X_m\end{pmatrix}\in\mathbb{R}^{m\times n} \] 那么协方差矩阵 \[ C_x= \dfrac{1}{n-1}XX^T = \dfrac{1}{n-1}\begin{pmatrix}X_1X_1^T & X_1X_2^...
    Python机器学习之scikit-learn库中KNN算法的封装与使用方法
    09-19
    在Python机器学习领域，scikit-learn库是一个广泛使用的开源工具包，提供了各种机器学习算法，包括监督学习和无监督学习。本篇文章将详细介绍如何在scikit-learn库中封装和使用K近邻（K-Nearest Neighbors，简称KNN...
    机器学习笔记2-KNN
    01-06
    KNN-k最近邻 KNN(K-NearestNeighbor)–k最近邻，NN代表神经网络的意思 k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居表示 核心思想：如果一个样本在特征空间中的k个最相邻的样本中的...
    机器学习报告-基于PCA和KNN算法的毒蘑菇分类预测实验报告-机器学习高分大作业
    11-18
    2. 应用PCA进行降维，降低计算复杂度。 3. 使用KNN算法训练模型，寻找最佳K值。 4. 对测试集进行预测，分析模型性能，如准确率、召回率等指标。 5. 结果解释与模型评估，探讨模型的优缺点以及可能的改进方向。 五、...
    机器学习-kNN算法
    12-15
    kNN，全称为K最近邻（K-Nearest Neighbors），是机器学习领域中最基础且直观的算法之一。它属于监督学习方法，主要用于分类和回归问题。kNN算法基于一个简单的思想：未知类别的样本可以被分类为其最近的k个已知类别...
    维数灾难
    兔清风的博客
    09-17 883
    在看机器学习的论文时，经常会看到有作者提到“curse of dimensionality”，中文译为“维数灾难”，这到底是一个什么样的“灾难”？本文将通过一个例子来介绍这令人讨厌的“curse of dimensionality”以及它在分类问题中的重要性。 假设现在有一组照片，每一张照片里有一只猫或者一条狗。我们希望设计一个分类器可以自动地将照片中的动物辨别开来。为了实现这个目标，首先需
    使用K-NN时的维数灾难
    Treasure Ashes
    03-26 745
    K-NN最大的缺陷就是很容易引起维数灾难，在高维空间，数据变得异常稀疏，这就使得即使是最近的邻居数据点，所需计算数据点之间的距离也变得异常得远。这导致了随着变量的增加，训练集所要求的数据量呈指数级的增长，计算量也随之变得异常大。 为了解决这个问题，有几种措施可以尝试： 对变量（Predictor）进行降维，可以用PCA等降维方法。 尝试找到计算“最近邻”（almost nearest ...
    curse of dimensionality维数灾难
    weixin_33806300的博客
    12-04 209
    或者翻译成维度的咒语，这个咒语出现在很多方面： sampling采样 如果数据是低维的，所需的采样点相对就比较少；如果数据是高维的，所需的采样点就会指数级增加，而实现中面对高维问题时往往无法获得如此多的样本点（即使获得了也无法处理这么庞大数据量），样本少不具有代表性自然不能获得正确的结果。 combinatorics组合数学 由于每个维度上候选集合是固定的，维度增加后所有组合的总数就会指数...
    维度灾难
    绿色羽毛
    09-05 3120
    在机器学习中，经常会听到维度灾难问题，那么什么是维度灾难呢？ 当数据的维度增高时，很多机器学习问题就变得相当困难，这种现象就是维度灾难。 维度灾难发生在计算机科学的许多地方，但是在机器学习中尤其如此。 在机器学习中我们需要设定模型的特征值，而每一个特征值又含有不同的数值代表不同类别。在机器学习的过程中，为了更好的区分数据，我们往往会增加模型的特征值维度（即特征值得个数），如下图所示，...
    基于奇异值分解(SVD)的PCA降维与knn算法
    qq_38096703的博客
    04-11 1319
    1、SVD与PCA原理： https://www.cnblogs.com/pinard/p/6251584.html 2、KNN 算法 KNN 算法其实简单的说就是“物以类聚”，也就是将新的没有被分类的点分类为周围的点中大多数属于的类。它采用测量不同特征值之间的距离方法进行分类，思想很简单：如果一个样本的特征空间中最为临近（欧式距离进行判断）的K个点大都属于某一个类，那么该样本就属于这个类。...
    机器学习基础（八）：降维与度量学习（KNN、MDS、线性降维、PCA、核化线性降维、流形学习、度量学习）
    zero_ling
    09-29 1697
    8、降维与度量学习 8.1 k近邻k-Nearest Neighbor(KNN)学习 常用的监督学习方法，“懒惰学习lazy learning”的代表 给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测 通常分类任务中使用“投票法（选择这k个样本中出现最多的类别标记作为预测结果）”，回归任务中使用“平均法”，还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。 条件：假设任意测试样本x附近任意小的δ离范围内总能找到一个训练样本，即训练样本的采
    【ML小结8】降维与度量学习（KNN、PCA、因子分析、LDA）
    樛木
    11-19 2534
    度量学习指距离度量学习，是通过特征变换得到特征子空间，通过使用度量学习，让类似的目标距离更近，不同的目标距离更远. 也就是说，度量学习需要得到目标的某些核心特征（特点）。比如区分两个人，2只眼睛1个鼻子－这是共性，柳叶弯眉樱桃口－这是特点。 度量学习分为两种，一种是基于监督学习的，另外一种是基于非监督学习的。 1.KNN 有监督学习 工作机制 给定测试样本，基于某种距离度量找出训练集中与其最靠...
    《西瓜书》-10.降维
    ruoqi23的博客
    07-31 582
    10.降维 10.1.k近邻学习（kNN） k近邻（k-Nearest Neighbor，简称kNN）学习是一种常用的监督学习方法 其工作机制非常简单： *给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本； *然后基于这k个“邻居”的信息来进行预测。 通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大.

    “相关推荐”对你有帮助么？

    • 非常没帮助
    • 没帮助
    • 一般
    • 有帮助
    • 非常有帮助
    提交
    评论 1
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值