DS&ML_分类算法笔记之k-近邻、KD-Tree模型

最新推荐文章于 2020-11-24 21:57:05 发布
最新推荐文章于 2020-11-24 21:57:05 发布
阅读量1.5k 收藏 1
点赞数 2
分类专栏： 学习笔记 D.S. and M.L. R 数据科学与机器学习 文章标签： knn分类器 k近邻 分类算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s_gy_zetrov/article/details/79784329
版权

其他相关文章

DS&ML_关联分析笔记
DS&ML_分类算法笔记之支持自动机SVM模型
DS&ML_分类算法笔记之随机森林、梯度提升树、XGBoost模型
DS&ML_降维算法笔记之主成分分析PCA模型
DS&ML_分类算法笔记之朴素贝叶斯模型
DS&ML_聚类算法笔记之k-means模型
DS&ML_分类算法笔记之决策树模型
DS&ML_分类算法笔记之逻辑回归模型

对于k-近邻、KD-Tree模型的相关知识点的总结与整理

简单描述一下k-近邻的思想，KNN是什么？

思想：通过计算每个训练样例到待分类样品（待预测样例）的距离，取和待分类样品距离最近的K个训练样例，K个样品中哪个类别的训练样例占多数，则待分类样品就属于哪个类别（就是一个投票表决的过程 ）。

K值的选取：先取一个较小的变量，再交叉验证法选择最优的K(Copyright © https://blog.csdn.net/s_gy_zetrov. All Rights Reserved)

数据的必要预处理：消除量纲的影响（避免发生数量级较大的变量有时“决定”距离数量级小的变量被“忽略”的情况）

  • 归一化
    将变量的大小映射到0-1之间：(X-Xmin)/(Xmax-Xmin)
  • 标准化
    变量减去均值再除以标准差：(X-X均值)/std(X)

距离的计算

  • 闵氏距离（由维度裂变为曼哈顿、欧式、切比雪夫距离）
    • 对应Lp范数，p为参数
    • 当维度等于1时候，其公式等价于曼哈顿距离。
    • 维度等于2时候，其公式等价于欧式距离。
    • 当维度大于2到无穷大时候，其公式等价于切比雪夫距离。
      • 切比雪夫距离
      • 欧氏距离只能直线走，而曼哈顿距离只能沿着划定的格子边缘走。而切比雪夫中说的距离则是两者的结合体（即可直线走，也可沿着格子走）。二个点之间的距离定义是其各坐标数值差绝对值的最大值。此距离中，加入了优化的成分，通过最值来定义距离。
  • 欧式距离
    • 度量两点之间的直线距离
    • 对应L2-范数
  • 曼哈顿距离
    • 对应L1-范数
  • 马氏距离

优点

  • 适用于样本容量比较大的分类问题
  • 效率较高
  • 概念简单容易实现，可解释性强
  • 与朴素贝叶斯一样支持“增量式训练”：只需要不断添加新的训练数据而不需要重复训练模型

缺点

  • 对每一个个体的预测都是全局搜索，数据量特别大时计算量也会太大，影响效率
  • 对于样本量分布不均衡的时候，会产生误分（重视多数类而忽视少数类）。
  • 预测需要以来存储的训练数据集，存储成本较高

KD-Tree：高维平衡树–KNN的优化

kd树(K-dimension tree)是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。（划分方法就是类似二分查找：给出一组数据：[9 1 4 7 2 5 0 3 8]，先排序，然后以5为分界点，那么数据集就被划分为了左右两个“簇” [0 1 2 3 4]和[6 7 8 9]。因此，根本久没有必要进入第一个簇，可以直接进入第二个簇进行查找。把二分查找中的数据点换成k维数据点，这样的划分就变成了用超平面对k维空间的划分。空间划分就是对数据点进行分类，“挨得近”的数据点就在一个空间里面。）

核心就是中位数作为根，递归建树

使用KNN在树中查找

  1. 从根节点开始递归查找，若目标点当前维的坐标值小于切分点的坐标值，则移动到左子结点，否则移动到右子结点。直到子结点为叶结点为止

  2. 若到达叶节点则作为当前最优节点

  3. 回溯
    • 若当前节点比当前最优更优，则更新当前最优节点
    • 然后检查以最近距离为半径的圆是否和父节点的超平面相交.如果相交，可能在另一个子结点对应的区域内存在距离目标更近的点，移动到另一个子结点。接着，递归的进行最近邻搜索。如果不相交，向上回退
  4. 当回退到根结点时，搜索结束。最后的“当前最近点”即为x的最近邻点

复杂度O(根号n)：一条边延展出去至多会与两个区域相交T(1)=O(1);T(n)=2+2*T(n/4);解出根号n

零碎的一些知识点积累

范数，是具有“长度”概念的函数，是矢量空间内的所有矢量赋予非零的正长度或大小。半范数可以为非零的矢量赋予零长度。

  • 向量范数
    • 1-范数
      向量元素绝对值之和，matlab函数为norm(x,1)
    • 2-范数
      向量各个元素平方和的1/2次方，即向量元素绝对值的平方和再开方。L2范数又称Euclidean范数或者Frobenius范数，matlab函数为norm(x,2)
    • -inf-范数
      所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)
    • p-范数
      向量元素绝对值的p次方和的1/p次幂，matlab调用函数norm(x, p)

R语言class包：knn函数，k最近邻算法，欧式距离；kknn包，kknn函数，加权k最近邻算法，闵式距离（闵可夫斯基距离）

(Copyright © https://blog.csdn.net/s_gy_zetrov. All Rights Reserved)

visitor tracker
访客追踪插件

sgyzetrov
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kd-tree : k近邻查询和范围查询
taotao 的大学墓志
09-11 1万+
想象一下我们有如下两个任务: 我现在想骑一辆小黄车，我想查找离我最近的k辆小黄车. 找到百度地图中显示在屏幕上区域中的所有酒店 这两个任务均可以用kd-tree来解决 kd-tree 主要两个用途: 查询离某个点的最近的kk 个邻居, 搜索某个区域内的所有点. 后者在计算几何中称为范围查询,例如查询某个平面区域内的点的个数.kd-tree是什么玩意儿kd-tree就是高维平衡树…… kd-tre
XPEnoboot_DS3615xs_5.2-5967.1.iso 和 XPEnoboot_DS3615xs_5.2-5967.1.img 用于群晖 NAS
09-17
压缩包里连个镜像 ，用于启动群晖 组建家庭NAS windowos 的Hyper-V 可以用的5.2稳定版本。...XPEnoboot_DS3615xs_5.2-5967.1.iso ISO可用于虚拟光驱来加载,由img转换的。 XPEnoboot_DS3615xs_5.2-5967.1.img 为源镜像
第三章 K 近邻法 (kNN 以及kd-tree)
GeekDengshuo
05-29 527
k近邻法 基础知识 1 模型 使用的模型实际上对应于特征空间的划分.模型的三个基本要素: 距离度量 , k值的选择 , 分类决策规则决定. 思想脉络 1 方法的流程简述 给定一个训练数据集,对于新的输入实例,在训练数据集中找到与之最临近的k个实例,这k个实例的多数属于某个类, 就把实例分为这个类. 这个算法没有显示的训练过程,应用的过程就是训练的过程 算法推...
KD-Tree算法
MinerYCC
05-06 1万+
kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Nearest Neighbor)。 一、Kd-tree其实KDTree就是二叉查找树（Binary Search Tree，BST）的变种。二叉查找树的性质如下：1）若它的左子树不为空，则左子树上所...
k-d tree算法的研究
weixin_34179762的博客
10-13 397
By RaySaint 2011/10/12 动机 先前写了一篇文章《SIFT算法研究》讲了讲SIFT特征具体是如何检测和描述的，其中也提到了SIFT常见的一个用途就是物体识别，物体识别的过程如下图所示： 如上图(a)，我们先对待识别的物体的图像进行SIFT特征点的检测和特征点的描述，然后得到了SIFT特征点集合。接下来生成物体目标描述要做的就是对特征点集合进行数据...
详解KDTree
热门推荐
爱冒险的技术宅
11-26 8万+
简介kd树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索（如：范围搜索和最近邻搜索）。一个KDTree的例子上图的树就是一棵KDTree，形似二叉搜索树，其实KDTree就是二叉搜索树的变种。这里的K = 3.首先来看下树的组织原则。将每一个元组按0排序（第一项序号为0，第二项序号为1，第三项序号为2），在树的第n层，第 n%3 项被用粗
DS.zip_DS_DS 算法 matlab_DS-SS_DS算法_ds-cdma matlab
09-24
DS算法程序和一些例子，有兴趣的可以下载下来验证一下
ds_tree.rar_DS-tree_DSTree_tree_数据结构_数据结构 树
09-22
实现数据结构中树的创建查询，删除和修改节点
DS-CDMA.zip_DS CDMA_ds-cdma_ds-cdma matlab
09-22
DS-CDMA通信系统的MATLAB源程序
DS_CDMA.rar_DS CDMA_DS_CDMA_ds-cdma
07-14
基于伪随机序列的DS-CDMA系统性能分析
kd树-一个实例
qq1028850792的专栏
11-08 3425
1.实例        先以一个简单直观的实例来介绍k-d树算法。假设有6个二维数据点{（2,3），（5,4），（9,6），（4,7），（8,1），（7,2）}，数据点位于二维空间内（如图2中黑点所示）。k-d树算法就是要确定图2中这些分割空间的分割线（多维空间即为分割平面，一般为超平面）。下面就要通过一步步展示k-d树是如何确定这些分割线的。        k
Kd-Tree算法原理简析
发现问题，解决问题.
08-22 2万+
　　本文讲解旨在讲解Kd-Tree(K-demension tree)的一些粗浅的原理，以及其在计算机视觉的一些应用，既是总结了自己，也是分享给大家，希望有所帮助。 　　Kd-Tree是从BST(Binary search tree)发展而来，是一种高维索引树形数据结构，常用于大规模高维数据密集的查找比对的使用场景中，主要是最近邻查找(Nearest Neighbor)以及近似最近邻查找(App...
K 近邻算法（KNN）与KD 树实现
随煜而安的专栏
04-05 1万+
本文详细介绍了KNN分类算法的原理。 以及如何使用KD树实现KNN算法，包括KD树的构建与K近邻查找 最后给出了KD树的C#实现源码
k近邻（k-nearest neighbor，k-NN）及其实现 - kd树（k-dimensional tree）
CCC的专栏
02-26 790
《统计学习方法》李航 - 第3章 1. 概述 1.1 定义 k近邻法（k-nearest neighbor，k-NN）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。 简单来说就是：在样本空间（训练集）中，与待测样本最相邻（通过距离度量）的k个样本中，大多数属于某一个类别，则该待测样本也属于这个类别，并具...
分类算法 - k近邻算法(原理、kd树)
qq602683200的博客
11-06 1892
目录1. 算法概述2. 模型三要素2.1 距离度量2.2 k值选择2.3 分类规则2. 算法流程3. 算法实现4.优缺点分析5.算法优化5.1 距离加权5.2 kd - tree 和 ball - tree6. 应用场景7. 参考 1. 算法概述 k近邻算法解决分类问题一种常见的方法，其主要思路是，根据给定距离度量，在训练集中找到目标点最近的k个样本的分类结果，经过分类规则，预测目标样本的分类。 2. 模型三要素 从算法概述可以得到3个重要的要素：距离、k值以及分类规则。 2.1 距离度量 k近邻一般特
KNN算法和KD-Tree
猪逻辑公园
06-13 2917
KNN算法原理        K近邻(K-nearst neighbors, KNN)是一种基本的机器学习算法，所谓k近邻，就 是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。比如:判断一个人的人品，只需要观察与他来往最密切的几个人的人品好坏就可 以得出，即“近朱者赤，近墨者黑”；KNN算法既可以应用于分类应用中，也可以应用在回归应用中。KNN在做回归和分类的主要区别在于最...
Kd-Tree算法原理 最近邻查找
留下的，留不下的
08-22 3951
文章出处：http://blog.sina.com.cn/s/blog_6f611c300101bysf.html 本文介绍一种用于高维空间中的快速最近邻和近似最近邻查找技术——Kd-Tree（Kd树）。Kd-Tree，即K-dimensional tree，是一种高维索引树形数据结构，常用于在大规模的高维数据空间进行最近邻查找(Nearest Neighbor)和近似最近邻查找(Approxi...
最近邻查找算法kd-tree
皮皮blog
08-12 6万+
http://blog.csdn.net/pipisorry/article/details/52186307 海量数据最近邻查找的kd-tree简介         利用Octree，為封閉的3D空間建立一個資料結構來管理空間中的每個元素。如此我們可以在 O(log N) 的時間內對這3D空間進行搜尋。         3D空間可以用Octree，2D空間可以用Quadtree(四元樹，概...
集合中元素相加为给定值的算法_高维空间中的快速最近邻和查找技术——Kd-Tree...
weixin_39884738的博客
11-24 247
本文介绍一种用于高维空间中的快速最近邻和近似最近邻查找技术——Kd-Tree(Kd树)。Kd-Tree，即K-dimensional tree，是一种高维索引树形数据结构，常用于在大规模的高维数据空间进行最近邻查找(Nearest Neighbor)和近似最近邻查找(Approximate Nearest Neighbor)，例如图像检索和识别中的高维图像特征向量的K近邻查找与匹配。本文首先介绍K...
#define DS18B20_IO_IN() {GPIOG->CRH&=0XFFFF0FFF;GPIOG->CRH|=8<<12;} #define DS18B20_IO_OUT() {GPIOG->CRH&=0XFFFF0FFF;GPIOG->CRH|=3<<12;}把这个改为库函数写法
最新发布
07-13
#define DS18B20_PIN GPIO_PIN_13 #define DS18B20_PORT GPIOG // 将引脚设置为输入模式 void DS18B20_IO_IN(void) { GPIO_InitTypeDef GPIO_InitStruct = {0}; GPIO_InitStruct.Pin = DS18B20_PIN; GPIO_Init...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值