ANN之KD-Tree

一、何为 KD-tree

kd（k-dimensional）树的概念自1975年提出，试图解决的是在k维空间为数据集建立索引的问题。在已知样本空间如何快速查询得到 query 近邻？唯有以空间换时间，建立索引便是计算机世界的解决方法。但是索引建立的方式各有不同，kd树只是是其中一种。它的思想如同分治法，即：利用已有数据对k维空间进行切分。

当 k=1时，也就是一维空间的kd树，就是我们所熟知的二叉查找树

二叉树在时间复杂度上是O(logN），远远优于全遍历算法。对于该树，在空间上理解就是，树的每个节点把对应父节点切成的空间再切分，从而形成各个不同的子空间。查找某点的所在位置时，就变成了查找该点所在子空间。 上图仅仅是一维，如果换到二维，或者是更高维度上，这棵树该怎么建立？ 又该怎么理解所切成的子空间呢？

二、kd树构造和查找

kd树是一种二叉树，表示对k维空间的一个划分，构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分 （垂直于哪个坐标轴？），构成一系列的K维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。

构造kd树

1、首先构造根节点，这里的节点其实就是 k维空间中的一个超矩形区域。那么根节点就是包含所有实例点的超矩形区域
2、在超矩形区域上选择一个坐标轴(K维中的某一维)和在此坐标轴上的一个切分点，确定一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域（子结点）
3、在左右两个子空间中递归进行 2 的操作，直到子空间内没有实例点时终止。终止时的结点为叶结点，对应的矩形区域为空

可以看出，上面的构造过程中有两个关键点：

• 选择哪一个轴(维度) 切分？
• 选择该轴的上的哪个样本进行切分？

第一个问题，选择哪个维度？简单的解决方法是随机选择或者按顺序选择，但是更好的方法应该是在数据比较分散的那一维进行划分，分散程度可以根据方差来衡量

第二个问题，确定了哪一维后，那么选择这一维上的哪个点作为切分点？可以选择该轴上的中位数作为切分点，这样可以使构建的树比较平衡。但是中位数不一定存在于该轴序列中，如果这样就选择与中位数最接近的那个样本点作为切分点，并垂直于选定的坐标轴将当前矩形分为两个子空间。左侧子空间在该坐标轴上都是小于中位数的，右侧子空间在该坐标轴上都是大于中位数的

查找 kd 树

查找目标点 xx 步骤：

（1） 在kd树中找出包含目标点xx的叶结点：从根结点出发，递归的向下访问kd树。若目标点当前维的坐标值小于切分点的坐标值，则移动到左子结点，否则移动到右子结点。直到子结点为叶结点为止；
（2） 以此叶结点为“当前最近点”；
（3） 递归的向上回退，在每个结点进行以下操作：
　　（a） 如果该结点保存的实例点比当前最近点距目标点更近，则以该实例点为“当前最近点”；
　　（b） 当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一个子结点对应的区域是否有更近的点。具体的，检查另一个子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。如果相交，可能在另一个子结点对应的区域内存在距离目标更近的点，移动到另一个子结点。接着，递归的进行最近邻搜索。如果不相交，向上回退。
（4） 当回退到根结点时，搜索结束。最后的“当前最近点”即为xx的最近邻点

三、举例说明

给定一个二维空间数据集：𝑇={(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}，构造一个平衡kd树。

构造过程：

1. 根节点对应包含数据集T的矩形区域
2. 两个坐标轴，x1和x2，计算两个轴上的方差，递归进行切分
   
   

因此选择 x1轴进行切分，6个数据点的𝑥(1)坐标中位数是6，这里选最接近的(7,2)点，当然也可以选择 (4,7)这个点。以平面x(1)=7将空间分为左、右两个子矩形（子结点）；接着左矩形以𝑥(2)=4分为两个子矩形（左矩形中 {(2,3),(5,4),(4,7)} 点的𝑥(2)坐标中位数正好为4），右矩形以𝑥(2)=6 分为两个子矩形，如此递归，最后得到如下图所示的特征空间划分和kd树。

以上面构建好的kd树为例，查找目标点（3, 4.5）的最近邻点，查找过程如下：

1. 同样先进行二叉查找，先从（7,2）查找到（5,4）节点，该节点是由y = 4分割超平面的，由于查找点为y值为4.5，因此进入右子空间查找到（4,7），形成搜索路径：（7,2）→（5,4）→（4,7），(4,7)是叶子节点，所以取（4,7）为当前最近邻点。
2. 回溯：以目标查找点为圆心，目标查找点到当前最近点(4,7)的欧式距离是2.69，为半径确定一个红色的圆。然后回溯到父节点（5,4），计算其与查找点之间的距离为2.06，则该结点比当前最近点距目标点更近。
3. 接着以(5,4)为当前最近点。用同样的方法再次确定一个绿色的圆，可见该圆和y = 4超平面相交，所以需要进入（5,4）结点的另一个子空间进行查找 ，因为(4,7)的子空间已经被证明不是最近了。（2,3）结点与目标点距离为1.8，比当前最近点(5,4) 要更近，所以最近邻点更新为（2，3），最近距离更新为1.8，同样可以确定一个蓝色的圆。
4. 接着根据规则回退到根结点(7,2)，目标点到 (7,2)的举例明细大于1.8，所以x=7切分的右半超平面不会出现最近邻。从图上看，就是蓝色圆与x=7的超平面不相交，因此不用进入（7,2）的右子空间进行查找。至此，搜索路径回溯完，返回最近邻点（2,3），最近距离1.8。

如果实例点是随机分布的，kd树搜索的平均计算复杂度是𝑂(𝑙𝑜𝑔𝑁)，这里 N 是训练实例数。kd树更适用于训练实例数远大于空间维数时的k近邻搜索。当空间维数接近训练实例数时，它的效率会迅速下降，几乎接近线性扫描。

四、参考资料

1、https://www.cnblogs.com/21207-iHome/p/6084670.html
2、https://zhuanlan.zhihu.com/p/53826008