KD Tree的原理及实现

最新推荐文章于 2024-05-03 20:26:31 发布
最新推荐文章于 2024-05-03 20:26:31 发布
阅读量225 收藏
点赞数
分类专栏： 数据结构与算法 文章标签： 算法 近邻算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chinus_yan/article/details/120686118
版权

KD Tree的原理及Python实现

1. 原理篇

我们用大白话讲讲KD-Tree是怎么一回事。

1.1 线性查找

假设数组A为[0, 6, 3, 8, 7, 4, 11]，有一个元素x，我们要找到数组A中距离x最近的元素，应该如何实现呢？比较直接的想法是用数组A中的每一个元素与x作差，差的绝对值最小的那个元素就是我们要找的元素。假设x = 2，那么用数组A中的所有元素与x作差得到[-2, 4, 1, 6, 5, 2, 9]，其中绝对值最小的是1，对应的元素是数组A中的3，所以3就是我们的查找结果。

1.2 二分查找

如果我们有大量的元素要在数组A中进行查找，那么1.1的方式就显得不是那么高效了，如果数组A的长度为N，那么每次查找都要进行N次操作，即算法复杂度为O(N)。

1、我们把数组A进行升序排列，得到[0, 3, 4, 6, 7, 8, 11]；
2、令x = 2，数组中间的元素是6，2小于6，所以2只可能存在于6的左边，我们只需要在数组[0, 3, 4]中继续查找；
3、左边的数组中间的元素是3，2小于3，所以2只可能存在于3的左边，即数组[0]；
4、由于数组[0]无法再分割，查找结束； x需要跟我们最终找到的0，以及倒数第二步找到的3进行比较，发现2离3更近，所以查找结果为3。
这种查找方法就是二分查找，其算法复杂度为O(Log2(N))。

1.3 BST

除了数组之外，有没有更直观的数据结构可以实现1.2的二分查找呢？答案就是二分查找树，全称Binary Search Tree，简称BST。把数组A建立成一个BST，结构如下图所示。我们只需要访问根节点，进行值比较来确定下一节点，如此循环往复直到访问到叶子节点为止。
在这里插入图片描述

1.4 多维数组

现在我们把问题加点难度，假设数组B为[[6, 2], [6, 3], [3, 5], [5, 0], [1, 2], [4, 9], [8, 1]]，有一个元素x，我们要找到数组B中距离x最近的元素，应该如何实现呢？比较直接的想法是用数组B中的每一个元素与x求距离，距离最小的那个元素就是我们要找的元素。假设x = [1, 1]，那么用数组B中的所有元素与x求距离得到[5.0, 5.4, 4.5, 4.1, 1.0, 8.5, 7.0]，其中距离最小的是1，对应的元素是数组B中的[1, 2]，所以[1, 2]就是我们的查找结果。

1.5 再次陷入困境

如果我们有大量的元素要在数组B中进行查找，那么1.4的方式就又显得不是那么高效了，如果数组B的长度为N，那么每次查找都要进行N次操作，即算法复杂度为O(N)。

1.6 什么是KD-Tree

这时候已经没办法用BST，不过我们可以对BST做一些改变来适应多维数组的情况。当当当当~，这时候该KD-Tree出场了。废话不多说，先上图：
在这里插入图片描述

1.7 如何建立KD-Tree

您可能会问，刚在那张图的KD Tree又是如何建立的呢？ 很简单，只需要5步：

  1. 建立根节点；

  2. 选取方差最大的特征作为分割特征；

  3. 选择该特征的中位数作为分割点；

  4. 将数据集中该特征小于中位数的传递给根节点的左儿子，大于中位数的传递给根节点的右儿子；

  5. 递归执行步骤2-4，直到所有数据都被建立到KD Tree的节点上为止。

不难看出，KD Tree的建立步骤跟BST是非常相似的，可以认为BST是KD Tree在一维数据上的特例。KD Tree的算法复杂度介于O(Log2(N))和O(N)之间。

1.8 特征选取

您可能还会问，为什么方差最大的适合作为特征呢？ 因为方差大，数据相对“分散”，选取该特征来对数据集进行分割，数据散得更“开”一些。

1.9 分割点选择

您可能又要问，为什么选择中位数作为分割点呢？ 因为借鉴了BST，选取中位数，让左子树和右子树的数据数量一致，便于二分查找。

1.10 利用KD-Tree查找元素

KD Tree建好之后，接下来就要利用KD Tree对元素进行查找了。查找的方式在BST的基础上又增加了一些难度，如下：

  1. 从根节点开始，根据目标在分割特征中是否小于或大于当前节点，向左或向右移动。

  2. 一旦算法到达叶节点，它就将节点点保存为“当前最佳”。

  3. 回溯，即从叶节点再返回到根节点

  4. 如果当前节点比当前最佳节点更接近，那么它就成为当前最好的。

  5. 如果目标距离当前节点的父节点所在的将数据集分割为两份的超平面的距离更接近，说明当前节点的兄弟节点所在的子树有可能包含更近的点。因此需要对这个兄弟节点递归执行1-4步。

1.11 超平面

所以什么是超平面呢，听起来让人一脸懵逼。
以[0, 2, 0], [1, 4, 3], [2, 6, 1]的举例：

  1. 如果用第二维特征作为分割特征，那么从三个数据点中的对应特征取出2, 4, 6，中位数是4；

  2. 所以[1, 4, 3]作为分割点，将[0, 2, 0]划分到左边，[2, 6, 1]划分到右边；

  3. 从立体几何的角度考虑，三维空间得用一个二维的平面才能把空间一分为二，这个平面可以用y = 4来表示；

  4. 点[0, 2, 0]到超平面y = 4的距离就是 sqrt((2 - 4) ^ 2) = 2；

  5. 点[2, 6, 1]到超平面y = 4的距离就是 sqrt((6 - 4) ^ 2) = 2。

chinusyan
关注
专栏目录
Kd-tree原理与实现
guoziqing506的博客
02-24 2万+
数据应用当中，最近邻查询是非常重要的功能。不论是信息检索，推荐系统，还是数据库查询，最近邻查询(Nearst Neighbor Search)可谓无处不在。它要实现的是帮助我们找到数据中和查询最接近的一个或多个数据条目（前者叫NN search, 后者也叫kNN），其实本质上是一样的，我在这篇博客中讲的Kd-tree主要是针对NN问题的。 其实，这种问题本来是很容易解决的，只要设计好了数据相似度
kdtree java_KdTree理解与实现（Java）
weixin_31458459的博客
02-17 262
KdTree理解与实现(Java)抛出问题KdTree简介原理简介代码实现Point.javaRect.javaKdTree.java复杂度比较结语抛出问题如果让你设计一个外卖系统，你的数据库中有所有外卖商家所在的经纬度，那么如何能有效地根据用户的位置筛选出所有附近的商家？最直接的方法是根据城市或者城市的每个区(如崂山区，市南区…)来对商家进行分类，然后根据用户所在的区返回同一区域下的所有商家。这...
Kd-tree实现
09-12
这是网上整理的2维、3维的Kd树实现源代码，对kd树的开发很有帮助。
Kd-Tree算法原理和开源实现代码
weixin_33989058的博客
09-09 397
本文介绍一种用于高维空间中的高速近期邻和近似近期邻查找技术——Kd-Tree（Kd树）。Kd-Tree，即K-dimensional tree，是一种高维索引树形数据结构，经常使用于在大规模的高维数据空间进行近期邻查找(Nearest Neighbor)和近似近期邻查找(Approximate Nearest Neighbor)，比如图像检索和识别中的高维图像特征向量的K近邻查找与...
KD tree 实现
如有侵权，请联系作者删除
10-11 391
KD tree 实现 （感谢前辈）转自：https://zhuanlan.zhihu.com/p/73002544 评价: 代码需要优化，处理数据消耗时间较长 之前提到了，用 DBSCAN 聚类的时候，由于 DBSCAN 需要计算每两个点两两之间的距离，超过5万个点就是25万的距离矩阵，就直接报内存错误了，查看任务管理器发现内存占用达到了5-9G；尽管后续极力压缩，还是需要5-6秒的时间，这显然...
KdTree原理及实现
ywfwyht的博客
05-26 1921
在左子矩形中，我们选择y坐标在中间的点（即第2个点，也就是坐标为(2, 3)的点）作为左子节点，并将左子矩形划分为两个子矩形：一个左子矩形（包含第1个数据点）和一个右子矩形（包含第2个数据点）。在右子矩形中，我们选择y坐标在中间的点（即第5个点，也就是坐标为(8, 2)的点）作为右子节点，并将右子矩形划分为两个子矩形：一个左子矩形（包含第4个数据点）和一个右子矩形（包含第6个数据点）。最后返回最近邻点即可。每个单元格根据其所属的维度选择一个坐标轴，将其划分为两个子单元格，并将数据点存储在相应的子单元格中。
kdtree.rar_K._k-dimension_kdtree_kdtree的缺点_thisobi
07-14
这个名为"KDTREE.rar_K._k-dimension_kdtree_kdtree的缺点_thisobi"的压缩包可能包含了一个关于K-d Tree的详细解释、实现代码或相关的学习资源。在高维数据处理中，K-d Tree是解决K最近邻（K-Nearest Neighbors, KNN...
写给 Baby 的 Kd-tree 的实现原理 - demo程序
08-10
在本篇博客的**demo程序**中，我们将深入理解Kd树的实现原理，并通过实际代码来阐述其功能。 首先，我们需要了解**Kd树的构建过程**。Kd树的构建基于二叉树的递归构建方法。以二维空间为例，每次构建新节点时，都会...
KdTreeInPCL-master_kdtree_点云搜索邻近点代码_kdtree算法实现邻近点的搜索_
09-29
本文将深入探讨KdTree的原理、实现以及在PCL（Point Cloud Library）中的应用，特别关注如何使用KdTree进行点云邻近点的搜索。 KdTree是一种二叉树数据结构，适用于在高维空间中进行分割和快速查询。它的构建基于...
KdTree-1 PCL学习记录-8 KdTree原理及使用kdTree进行范围搜索和最近邻域搜索方法
HarwardWu的博客
12-14 2205
引： 通过3D相机（雷达、激光扫描、立体相机）获取到的点云，一般数据量较大，分布不均匀等特点，数据主要表征了目标物表面的大量点的集合（无序），不具备传统实体网格数据的几何拓扑信息； 这些离散的点如果希望实现基于邻域关系的快速查找比对功能，就必须对这些离散的点之间建立拓扑关系，所以点云的数据处理中，最为核心的问题就是建立离散点之间的拓扑关系，以便于实现基于邻域关系的快速查找。 常见的空间索引一般是自上而下逐级划分空间的各种索引结构，包括BSP树，k-d tree、KDB tree、R tree、CELL.
kdtree介绍与算法实现
04-06
kd树很基本的算法介绍和实现方法概括。全英文的文档。 Over the past six weeks, we've explored a wide array of STL container classes. You've seen the lin- ear vector and deque, along with the associative map and set. One property common to all these containers is that they are exact. An element is either in a set or it isn't. A value either appears at a particular position in a vector or it does not. For most applications, this is exactly what we want. However, in some cases we may be interested not in the question “is X in this container,” but rather “what value in the container is X most similar to?” Queries of this sort often arise in data mining, machine learning, and computational geometry. In this assignment, you will implement a special data structure called a kd-tree (short for “k-dimensional tree”) that efficiently supports this opera- tion.
KD-Tree详解: 从原理到编程实现
白鸟无言的博客
04-08 7794
在点云操作中，常常需要从大量点云中找到距离输入点最近的点，如果使用线性搜索，逐个判断与输入点的距离，那么搜寻耗时将会与点云规模呈线性上升趋势，时间复杂度为O(N)O(N)O(N)。显然这不是我们想看到的，在数据结构与算法中，对一维数据常用的搜索方法是二分查找，时间复杂度为O(logN)O(logN)O(logN)，它本质上是构建一棵二叉搜索树，以空间换取时间。而KD-Tree(K-Dimension Tree)，也就做K维树，则可以看做是二叉树在K维空间的扩展，它的搜索效率也能近似达到O(logN)O(lo
KD-Tree的原理及其在KNN中的应用（附Python代码）
诗小葵的博客
03-18 2055
回溯到某个节点，比较该节点和目标节点之间的距离时并不是计算欧氏距离（其实使用欧氏距离也可以），而是在当前分割维度上的数据之差，这是因为多维数据进行二分查找分割时，使用的是平行于某个坐标轴的超平面，（1）从根节点出发进行查找，根据树深计算当前的分割维度split，若目标结点在分割维度上的数据小于当前节点，则进入左子树遍历，否则进入右子树遍历；（2）重复步骤一，直到找到叶子节点，记录当前目标节点和当前节点的距离为最小距离，当前节点为最近节点，并开始回溯；任意节点的子树的高度差都小于等于1。
KD-Tree构建及邻近点搜索 C++实现
最新发布
ts00001M的博客
05-03 903
KDTree C++实现
KD-Tree学习笔记
weixin_40588429的博客
10-15 188
kdtree是一种用于分割k维数据空间的数据结构，主要应用于多维空间关键数据的搜索。例如：范围搜索和最近邻搜索 kdtree的每个节点表示k维空间的一个点 每次空间划分按照轮转法划分，即如果这次选择了在第i维上划分，则下一次就在（i+1）%k上划分 int id, n, k, c; struct P { int x[5]; bool operator <(const P ...
【KD-Tree】基于k-d树的KNN算法实现
Cauchy的博客
05-18 1670
KD-Tree，又称（k-dimensional tree），是一种基于二叉树的数据结构。它可以用来高效地处理多维空间搜索问题，例如最近邻搜索（nearest neighbor search）和范围搜索（range search）等。
KD树 C++实现
yhaida的博客
01-04 610
已知样本空间如何快速查询得到其近邻？唯有以空间换时间，建立索引是最基本的解决方式。但是索引建立的方式各有不同，kd树只是是其中一种。它的思想如同分治法，即：利用已有数据对k维空间进行切分。注意：在一维空间里面，二叉查找树就是KD树的情形。对于一颗二叉查找树，可以在空间上理解：树的每个节点把对应父节点切成的空间再切分，从而形成各个不同的子空间。查找某点的所在位置时，就变成了查找点所在子空间。二叉查找树仅仅是一维，如果换到二维？如下图， 这样可以将平面分为两个部分。
kdTree算法实现（C++代码实现）
weixin_45645810的博客
06-20 1844
kdTree算法实现（C++代码实现） VS中需要安装Eigen包，可自行百度下载，添加至属性——包含项目即可。 kdTree.h文件 #ifndef KD_TREE_H #define KD_TREE_H #define lson (rt << 1)//左节点 #define rson (rt << 1 | 1)//右节点 #include #include #include <Eigen/Dense> #include using std::vector; us
【三维点云数据处理】Kd-Tree实现最近邻搜索
点云兔子的博客
06-17 5033
前言二、代码实现1.关键函数2.代码示例三、结果展示点云数据处理中最为核心的问题就是建立离散点间的拓扑关系 , 实现基于邻域关系的快速查找。一、kd-tree是什么？ kd-tree 或者 k 维树是计算机科学中使用的一种数据结构 ， 用来组织表示 k 维空间中点集合。它是一种带有其他约束条件的二分查找树。kd-tree 对于区间和近邻搜索十分有用。我们为了达到目的 , 通常只在三个维度中进行处理 , 因此所有的 kd-tree 都将是三维 kd-tree。如图 所示 ，kd-tree 的每一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值