KD tree如何查找最近邻

KD Tree是KNN算法中用于计算最近邻的快速便捷的方法，尤其适合当样本数量比较大的情况。KD Tree的构建方式比较简单，简单来说分为以下几步：
一，确定根节点，在m个样本的n维特征中，分别计算n个特征的方差并对这n个方差做一个比较，使用方差最大的那个特征(假设是第k个特征的方差最大)nk作为根节点；
二，确定划分点，然后对这m个样本的该特征值(nk)进行升序排列，找到中间那个值作为划分点，若n为奇数可直接找到中间值，若果n为偶数，则有两个中间值，我们选择值较大的特征值作为划分点。
三，构建子树，对于该特征值小于划分点值的样本划分到左子树，对于大于等于划分点值的样本划分到右子树，然后对左右子树采用同样的方式再分别找方差最大的特征作为根节点，如此递归便可构建产生KD Tree。

举个例子：
现有二维数组{(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}
此时可以有m=6个样本，n=2个特征(分别为特征x1和x2)
可以比较容易的计算并判断出二维数组第一维的特征的方差大于第二维的方差，于是我们选择第一维的特征x1作为根节点，在这个特征上对数组进行升序排列得{(2,3),(4,7),(5,4),(7,2),(8,1),(9,6)},在第一维特征x1上选择两个中间值较大的7作为划分点，则左子树有样本(2,3),(4,7),(5,4)，右子树有样本(8,1),(9,6)，根节点为(7,2)。然后再对左右子树分别重新计算两个维度特征值方差的最大值，最后递归产生KD Tree，划分后的空间示意图如下，注意：这里的样本点均是在最近的线段上的，而不是在旁边。

接下来我们再说说如何查找KD Tree的最近邻，先上图

然后请仔细认真反复的阅读以下文字：
对于一个目标点(假设是(2,4.5))，我们首先在KD Tree里面找到包含目标点的叶子节点(也即(4,7))。以目标点为圆心(也即(2,4.5))，以目标点到叶子节点样本实例的距离为半径，得到一个超球体。最近邻的点一定在这个超球体内部，然后返回叶子节点的父节点(也即(5,4))，检查另一个子节点(也即(2,3))所在的超矩形体(也即上图阴影部分的矩形)是否和超球体相交(此处是相交的)。如果相交就到这个子节点(也即(2,3))寻找是否有更加近的近邻(由于这个子节点(2,3)在圆内，所以目标点的最近邻更新为(2,3))，如果有的话就更新最近邻(更新最近邻后，原来的大圆也更新为以(2,4.5)为圆心，到(2,3)的线段为半径的小圆)，如果不相交我们直接返回父节点的父节点，在另一个子树继续搜索最近邻。当回溯到根节点时，算法结束，此时保存的最近邻节点就是最终的最近邻。