统计学习--02 KNN

已于 2022-04-29 18:44:52 修改
阅读量61 收藏
点赞数
分类专栏： 机器学习 文章标签： 机器学习
于 2022-04-29 09:21:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunfeiyahg/article/details/124485881
版权

k近邻 是一种快速分类方法，没有显式的学习过程
其思想类似于俗语”物以类聚，人以群分“，想知道一个人如何，那么可以从他经常打交道的人群间接得知。
k近邻分类也是这样：
在这里插入图片描述
在NLP中计算词向量时候，也有一个分布式假设：一个词的意思可以由它周边的词表示，与KNN 可以说是有异曲同工之妙

a word is characterized by the company it keeps"
在这里插入图片描述

为了提高搜索效率(避免O(N))，knn 在实现上，一般用kd树来实现

kd 树

kd 树 是二叉树
注意，k是维度的意思
提到快速搜索，在一维时候，可以使用BST二分查找树，但是由于训练语料数据一般维度>1，所以要引入kd tree
在这里插入图片描述

搜索最近邻

在这里插入图片描述
图解如下：

先找到最接近的叶子节点，然后回溯更新；并且，只要与节点的超平面相交，就要进入另一个分支节点判断
在这里插入图片描述

疑问

上面 只是返回单一的最近邻，如何返回 前top K结果呢？？

参考

FlitDu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习算法-KNN精讲
08-21
跟着我的节奏，带你走进数据科学，从数据分析思维、数据分析方法、数据分析工具Excel、SQL、Tableau、POWERBI、FineBI、Python等、数据分析之统计建模分析、机器学习、深度学习等，数据分析实战案例、数据建模分析等...
机器学习 --- kNN算法
学习日常分享
06-22 8954
将 kNN 算法称为机器学习算法中最简单的算法一点都不为过，因为该算法的思想用一句化就能概括，即：“近朱者赤，近墨者黑”。 第1关：实现kNN算法 任务描述 本关任务：补充 python 代码，完成 kNNClassifier 类中的 fit 函数与 predict 函数。实现 kNN 算法的训练与预测功能。 相关知识 为了完成本关任务，你需要掌握 kNN 算法的算法流程。 kNN 算法的算法流程 kNN 算法其实是众多机器学习算法中最简单的一种，因为该算法的思想完全可以用 8 个字来概括：“近朱者赤，近墨
机器学习--KNN算法
qq_36102055的博客
08-13 957
最近开始正式学机器学习的算法了，按照我的习惯学每个新的算法都喜欢记笔记，刚开始可能会有很多错误的地方如果大家发现了还请多多指正 文章目录KNN简介：算法的思路简单的实和sklearn的中的KNN的简单使用简单的实现sklearn的中的KNN的简单使用导入数据集使用KNN分类精确度分离数据手动分离使用sklearn分离精确度超参数 KNN简介： KNN算法属于分类算法，英文名称为K-NearestNeighbor，直译过来就是K个最的邻居。他可以通过计算并找到要预测的数据和训练数据中前K个最近的数据，然后对他
机器学习作业----KNN算法
weixin_51123341的博客
10-26 1012
为了判断未知样本的类别，以所有已知类别的样本作为参照，计算未知样本与所有已知样本的距离，从中选取与未知样本距离最近的K个已知样本，根据少数服从多数的投票法则，将未知样本与K个最邻近样本中所属类别占比较多的归为一类。。
机器学习-KNN算法
尤尔小屋
10-19 2604
从KNN算法步入机器学习殿堂 本文中介绍的机器学习算法中的一种监督学习的算法：KNN算法，全称是K-Nearest Neighbor，中文称之为K近邻算法。 它是机器学习可以说是最简单的分类算法之一，同时也是最常用的分类算法之一。在接下来的内容中，将通过以下的几个方面的内容对该算法进行详细的讲解： 算法思想 思想 首先对KNN算法的思想进行简单的描述： KNN算法是一个基本的分类和回归的算法，它是属于监督学习中分类方法的一种。其大致思想表述为： 给定一个训练集合M和一个测试对象n，其中该对象是由一个属
机器学习算法-KNN代码实现
weixin_47156261的博客
12-30 7344
机器学习算法-KNN代码实现一、KNN算法初步理解二、代码实现1.数据集处理2.创建model3.可视化总结 一、KNN算法初步理解 统计学习方法书上的解释：给定一个训练数据集，对于新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 二、代码实现 1.数据集处理 数据集是使用的是鸢尾花数据集，在代码中直接从sklearn中导入即可。 要对数据集进行处理，必须得先知道数据集的特点，鸢尾花共有150个样本，类别数为3. 0~50个样本label=0，
python3实现统计学习方法第三章-KNN
03-26
python3实现统计学习方法第四章-贝叶斯
统计学习导论-基于R应用
05-04
以R语言为基础，详细介绍各种数据建模，统计方法，主要包括：线性回归，逻辑斯谛回归、LDA，DA和KNN 、抽样方法、线性模型选择与正则化、线性模型、决策树、支持向量机、无指导学习等。
2、KNN学习.rar_knn_机器学习_统计_统计模式识别
07-14
KNN算法,是著名的模式识别统计学方法,在机器学习分类算法中占有相当大的地位,该代码实现了这一算法
统计学习kNN算法
03-20
以著名的wine数据作为实验样本。包括k-NN算法，交叉验证，PCA降维等。-With the famous wine data as experimental samples.K- NN algorithm, cross validation, PCA dimension reduction, etc.
Andrew Ng机器学习笔记（一）
FlitDu的博客
09-02 3466
第一篇博客，很有纪念意义，献给让人激动人心的ML，也感谢吴恩达老师的精彩讲解。1.机器学习的定义 假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，，改程序对E进行了学习。 —— [ Mitchell,1997 ] 2.机器学习算法分类 supervised learning ：我们教计算机如何做事情 unsuper
统计学习--01感知机
FlitDu的博客
04-25 1392
感知机属于线性分类模型，1957年由Rosenblatt提出，可以看成单层的神经网络。 感知机虽然简单，但是其工作原理、模型选择方式，仍然适用于后来复杂的神经网络如CNN,RNN等身上。从进化角度说，感知机可能相当于草履虫，但是我们如今地球上复杂的高等生物不也是从低等生物上慢慢进化来的么。 模型结构 学习方法 损失函数 L 为误分类点到超平面的距离 L(w,b)=−Σyi(w∗xi+b)L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)}L(w,b)=−Σyi​(w∗xi​+b)
Andrew Ng机器学习笔记（二）
FlitDu的博客
09-08 668
4.多元线性回归对于多元回归，道理同之前讲述的一样，要引入线性代数表达。此时，可视化描述已经不可能了。现在的假设函数变为： hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x ———> hθ(x)=θ0+θ1x1+θ2x2+...θnxnh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...\theta_nx_n为了方便
Andrew Ng机器学习笔记（三）
FlitDu的博客
09-12 460
5.matlab教程原始视频使用的是Octave语言，与matlab很类似，这里用它代替。函数路径问题： 定义一个函数，squaresquare，求得是数值的平方。运行结果正确。输入“pwd”，显示当前的函数路径。使用“cd”，修改路径后，发现函数运行不能显示正确结果。那么可以考虑，使用’addpath’命令，则函数可以正常运行。当然，这里说的东西主要是通过在命令窗口输入命令来使函数正常运行。
统计学习--04决策树
FlitDu的博客
04-30 232
决策树是一种树模型，可以看成 一个 if-then 规则的集合，属于生成模型 决策树学习通常包括3个步骤：特征选择，决策树的生成和修剪 决策树学习本质上是从训练数据中归纳出一组分类规则 策略 决策树的选择策略要用到熵 熵 S 最初来源于物理学，其物理意义是体系混乱程度的度量，定义如下： 在信息论和概率统计中，熵表示随机变量不确定性的度量，在这里可以理解为‘纯度’ 信息熵可以看成损失函数，特征的选择则是要使模型的信息熵减小（信息增益最大），通过划分使样本集合越来越纯 算法 决策树生成算法介绍以下3种：
统计学习--03 朴素贝叶斯
FlitDu的博客
04-29 196
贝叶斯
统计学习--0.开篇词
FlitDu的博客
04-12 87
李航博士的《统计学习》一书，早有耳闻，今天开始拜读，记录每章之所感 优先采用pytorch实现 特开此专栏 统计学习–01感知机 统计学习–02k近邻 统计学习–03 朴素贝叶斯
机器学习（四）之无监督学习
最新发布
weixin_75205835的博客
04-23 1090
当这个类有一定形状（图的最上两行），即非平面流体，并且标准的欧式距离不是正确的度量标准时，聚类是非常有用的。
头歌机器学习之KNN算法
05-19
2. 统计距离最近的K个训练数据的类别； 3. 根据这K个训练数据的类别，确定测试数据的类别。 在KNN算法中，K的取值通常是不大于20的整数。K越小，模型的复杂度越低，但是容易受到噪声的影响；K越大，模型的复杂度越...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值