【k近邻】Kd树的构造与最近邻搜索算法

F_D_Z

已于 2024-02-22 18:12:40 修改

阅读量751

点赞数 8

分类专栏：机器学习方法文章标签：算法机器学习学习 k近邻算法

于 2024-02-22 16:47:31 首次发布

本文链接：https://blog.csdn.net/weixin_73404807/article/details/136234584

版权

机器学习方法专栏收录该内容

19 篇文章 0 订阅

订阅专栏

【k近邻】 K-Nearest Neighbors算法原理及流程

【k近邻】 K-Nearest Neighbors算法距离度量选择与数据维度归一化

【k近邻】 K-Nearest Neighbors算法k值的选择

【k近邻】 Kd树的构造与最近邻搜索算法

【k近邻】 Kd树构造与最近邻搜索示例

Kd树是一种对K（与k近邻的k意义不同）维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。

Kd树是一种二叉树，表示对K维空间的一个划分(partition)。

构造Kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。Kd树的每个结点对应于一个k维超矩形区域。

算法:构造kd树

输入： $k$ 维空间数据集 $T=\{x_1,x_2,\cdots,x_N\}$ ,其中 $x_i=(x_i^{(1)},x_i^{(2)}\cdots,x_i^{(k)})^T$ $i=1,2,\cdots,N\colon$

输出： $kd$ 树。

(1)开始：构造根结点，根结点对应于包含T 的 $k$ 维空间的超矩形区域。

选择 $x^{(1)}$ 为坐标轴，以 $T$ 中所有实例的 $x^{(1)}$ 终标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴 $x^{(1)}$ 垂直的超平面实现。

由的根结点生成深度为1的左,右子结点：左子结点对应坐标 $x^{(1)}$ 小于切分点的子区域，右子结点对应于坐标 $x^{(1)}$ 大于切分点的子区域。

将落在切分超平面上的实例点保存在根结点。

(2)重复：对深度为 $j$ 的结点，选择 $x^{(l)}$ 为切分的坐标轴， $l=j({\mathrm{mod}}k)+1$ ,以该结点的区域中所有实例的 $x^{(l)}$ 坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴 $x^{(l)}$ 垂直的超平面实现。

由该结点生成深度为 $j+1$ 的左、右子结点：左子结点对应坐标 $x^{(l)}$ 小于切分点的子区域，右子结点对应坐标 $x^{(l)}$ 大于切分点的子区域。

将落在切分超平面上的实例点保存在该结点。

(3)直到两个子区域没有实例存在时停止,从而形成 $kd$ 树的区域划分。

例:沿x轴开始的kd树构造

算法:使用kd树的最近邻搜索

输入：已构造的 $kd$ 树，目标点 $x;$

输出： $x$ 的最近邻。

(1)在 $kd$ 树中找出包含目标点 $x$ 的叶结点：从根结点出发，递归地向下访问 $kd$ 树。若目标点 $x$ 当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点。直到子结点为叶结点为止。

(2)以此叶结点为“当前最近点”。

(3)递归地向上回退，在每个结点进行以下操作：

(a)如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。

(b)当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一子结点对应的区域是否有更近的点。具体地，检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。

如果相交，可能在另一个子结点对应的区域内存在距目标点更近的点，移动到另一个子结点。接着，递归地进行最近邻搜索；

如果不相交，向上回退。

(4)当回退到根结点时，搜索结束。最后的“当前最近点”即为 $x$ 的最近邻点。

F_D_Z

关注

8
点赞
踩
14

收藏

觉得还不错? 一键收藏
打赏
0
评论
【k近邻】Kd树的构造与最近邻搜索算法

Kd树是一种对K（与k近邻的k意义不同）维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。Kd树是一种二叉树，表示对K维空间的一个划分(partition)。构造Kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。Kd树的每个结点对应于一个k维超矩形区域。
复制链接

扫一扫