KD-Tree的原理及其在KNN中的应用（附Python代码）

文末有福利领取哦~

👉一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉二、Python必备开发工具

👉三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉 四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（文末领读者福利）

👉五、Python练习题

检查学习结果。

👉六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉因篇幅有限，仅展示部分资料，这份完整版的Python全套学习资料已经上传

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

+ [1.2 判断条件](#12__7)
+ [1.3 为什么要有平衡二叉树？](#13__13)

• 二、二叉搜索树
• • 2.1 原理
    • 2.2 构建BST（平衡）
• 三、KD-Tree
• • 3.1 对KD-Tree的理解
    • 3.2 生成KD-Tree
    • 3.3 最近邻搜索
    • 3.4 Python代码
    • 3.5 细节点理解
    • • 3.5.1 分割维度的选择
        • 3.5.2 为什么选取中位数作为分割点？

一、平衡二叉树AVL

1.1 定义

任意节点的子树的高度差都小于等于1。英文：Balanced Binary Tree, BBT 或者 AVL。

1.2 判断条件

（1）是二叉排序树；

（2）任何一个节点的左子树、右子树都是平衡二叉树，即左右高度差都小于等于 1。

1.3 为什么要有平衡二叉树？

为了提高搜索效率。比如基于

X

=

{

1

,

2

,

3

,

4

,

5

,

6

}

X={1, 2, 3, 4, 5, 6}

X={1,2,3,4,5,6}这种数据构建得到如下二叉树：

上图二叉树就像一个链表，因此搜索效率为

O

(

N

)

O(N)

O(N)。基于二分查找的思想，构建平衡二叉树之后，搜索效率将为

O

(

l

o

g

N

)

O(logN)

O(logN)：

二、二叉搜索树

2.1 原理

对一维数据常用的查找/搜索方法是二分查找，时间复杂度为

O

(

l

o

g

N

)

O(logN)

O(logN)，**二分查找本质上是一棵二叉搜索树（Binary Search Tree, BST），是以空间换取时间。**二叉搜索树可以任意构造，但不同的二叉树会导致查找效率不尽相同，若想最大性能构造一个二叉搜索树，就需要它是平衡的，即平衡二叉树AVL。

2.2 构建BST（平衡）

X

=

{

3

,

6

,

5

,

2

,

4

,

1

,

7

}

X={3, 6, 5, 2, 4, 1, 7}

X={3,6,5,2,4,1,7}

使用递归的方式构建平衡二叉搜索树：

import matplotlib.pyplot as plt
import matplotlib.lines as mlines

class Node(object):
    def __init__(self, value, left, right):
        self.value = value
        self.left = left
        self.right = right

    # 计算树高
    def get_height(self):
        layers = [self]
        height = 0
        while layers:
            height += 1
            new_list = []
            for node in layers:
                if node.left:
                    new_list.append(node.left)
                if node.right:
                    new_list.append(node.right)
            layers = new_list
        return height

    # 二叉树可视化
    def visualize(self, axis='off'):
        '''
            基本算法： 将树状结构映射到二维矩阵中，
            如果节点左右下方有节点则把该节点加入到矩阵中的坐标中，
            如节点（x,y）左下方有节点则把节点放入(x+offset,y+1)
            offset为x坐标偏移量，
            offset = 2**(len(matrix)-y-2)
        '''
        figure, axes = plt.subplots(figsize=(8, 6), dpi=80)
        height = self.get_height()
        width_ = 2 ** (height - 1)
        width = 2 * width_ + 1
        matrix = [[[] for x in range(width)] for y in range(height)]

        matrix[0][width_] = bst_tree  # put head in the middle position

        for y in range(len(matrix)):
            for x in range(len(matrix[y])):
                node = matrix[y][x]
                if node:
                    x1, y1 = (1 / width) * (x + 0.32), 1 - (1 / height) * y - 0.21
                    axes.text(x1, y1, str(node.value), color='white', fontsize=FONT_SIZE, fontweight='bold')
                    offset = 2 ** (len(matrix) - y - 2)

                    if node.left:
                        matrix[y + 1][x - offset] = node.left
                        x2, y2 = (1 / width) * (x - offset + 0.5), 1 - (1 / height) * (y + 1) - 0.2
                        line = mlines.Line2D([x1, x2], [y1, y2], zorder=-1)
                        axes.add_line(line)
                    if node.right:
                        matrix[y + 1][x + offset] = node.right
                        x2, y2 = (1 / width) * (x + offset + 0.5), 1 - (1 / height) * (y + 1) - 0.2
                        line = mlines.Line2D([x1, x2], [y1, y2], zorder=-1)
                        axes.add_line(line)
                    cc = plt.Circle(((1 / width) * (x + 0.5), 1 - (1 / height) * y - 0.2), 1 / width / 2 * NODE_SIZE_SCALE, color='blue')
                    axes.set_aspect(1)
                    axes.add_artist(cc)

        plt.axis(axis)
        plt.show()


# 使用递归的方式构建二叉搜索树
def make_binary_search_tree(data):
    if not data:
        return
    data.sort()
    mid = len(data) // 2
    tree = Node(data[mid],                               # 中间节点数据
                make_binary_search_tree(data[:mid]),     # 左子树
                make_binary_search_tree(data[mid+1:]))   # 右子树
    return tree


FONT_SIZE = 20
NODE_SIZE_SCALE = 1
X = [3, 6, 5, 2, 4, 1, 7]
if __name__ == '__main__':
    bst = make_binary_search_tree(X)
    bst.visualize()

运行结果：

要求找到距离输入数据=2.1最近的节点，若使用线性搜索，那么需要进行7次比较，时间复杂度为

O

(

N

)

O(N)

O(N)；

若使用二叉树搜索，只需要先和根节点4比较：2.1<4，此时记录最短距离d=1.9；进入左子树继续和2比较：2.1>2，更新最短距离d=0.1；进入右子树继续和3比较，此时两节点距离为0.9，0.9>0.1，因此最短距离就是0.1，且最近节点为2。使用二叉搜索树只需要3次就能找到最近节点，搜索的时间复杂度为

O

(

l

o

g

N

)

O(logN)

O(logN)。

三、KD-Tree

3.1 对KD-Tree的理解

对于多维数据，可以使用二叉树在 K 维（在激光雷达中，一般使用三维点云，所以KD-Tree的维度K=3）空间上的扩展 KD-Tree，它的时间复杂度也能近似达到

O

(

l

o

g

N

)

O(logN)

O(logN)，实际上它的时间复杂度介于

O

(

l

o

g

N

)

O(logN)

O(logN)和

O

(

N

)

O(N)

O(N)之间。**KD-Tree本质上是一种特殊的数据结构——基于空间的平衡二叉树。**KD-Tree是每个节点都有k维数据的平衡二叉树，每个节点代表一个超平面，该超平面垂直于当前划分维度的坐标轴，并在该维度上将空间划分为两部分。KD-Tree两个关键问题：① 树的建立；②最近邻域搜索。

KD-Tree和二叉搜索树的不同点在于，二叉搜索树每个节点只有一维特征，所以构建二叉搜索树时只需要根据这一维数据进行划分即可；对于多维数据，KD-Tree的划分策略是交替地使用每一维特征进行划分。KD-Tree会将三维空间分割成下图形式：

**KD-Tree本质上就是一种数据结构，**它的优点：① 搜索效率高；② 它是自平衡的，所以插入、删除数据也能保持高效；③ 易于实现。

3.2 生成KD-Tree

（1）初始化树深为

d

e

p

t

h

=

0

depth=0

depth=0和KD-Tree维度

K

K

K为数据维度；

（2）计算当前划分维度

s

p

l

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！