K-d树详解

转自：http://underthehood.blog.51cto.com/2531780/687160

By RaySaint 2011/10/12

 

本文的主要目的是讲一下如何创建k-d tree对目标物体的特征点集合进行数据组织和使用k-d tree最近邻搜索来加速特征点匹配。上面已经讲了特征点匹配的问题其实上是一个最近邻（K近邻）搜索的问题。所以为了更好的引出k-d tree，先讲一讲最近邻搜索。

 

最近邻搜索

先给出一个最近邻的数学形式的定义。给定一个多维空间，把中的一个向量成为一个样本点或数据点。中样本点的有限集合称为样本集。给定样本集E，和一个样本点d，d的最近邻就是任何样本点d’∈E满足None-nearer(E,d,d’)。

None-nearer如下定义：

上面的公式中距离度量是欧式距离，当然也可以是任何其他Lp-norm。

其中di是向量d的第i个分量。

现在再来说最近邻搜索，如何找到一个这样的d’，它离d的距离在E中是最近的。

很容易想到的一个方法就是线性扫描，也称为穷举搜索，依次计算样本集E中每个样本点到d的距离，然后取最小距离的那个点。这个方法又称为朴素最近邻搜索。当样本集E较大时（在物体识别的问题中，可能有数千个甚至数万个SIFT特征点），显然这种策略是非常耗时的。

因为实际数据一般都会呈现簇状的聚类形态，因此我们想到建立数据索引，然后再进行快速匹配。索引树是一种树结构索引方法，其基本思想是对搜索空间进行层次划分。k-d tree是索引树中的一种典型的方法。

k-d tree的简介及表示

k-d tree是英文K-dimension tree的缩写，是对数据点在k维空间中划分的一种数据结构。k-d tree实际上是一种二叉树。每个结点的内容如下：

域名	类型	描述
dom_elt	kd维的向量	kd维空间中的一个样本点
split	整数	分裂维的序号，也是垂直于分割超面的方向轴序号
left	kd-tree	由位于该结点分割超面左子空间内所有数据点构成的kd-tree
right	kd-tree	由位于该结点分割超面右子空间内所有数据点构成的kd-tree

样本集E由k-d tree的结点的集合表示，每个结点表示一个样本点，dom_elt就是表示该样本点的向量。该样本点根据结点的分割超平面将样本空间分为两个子空间。左子空间中的样本点集合由左子树left表示，右子空间中的样本点集合由右子树right表示。分割超平面是一个通过点dom_elt并且垂直于split所指示的方向轴的平面。举个简单的例子，在二维的情况下，一个样本点可以由二维向量(x,y)