统计学习笔记7

k 近邻算法的实现：kd树

在实现k近邻算法时，主要考虑的是对训练数据进行快速地k近邻搜索；最简单的方法就是线性扫描，即计算输入实例与每一个训练实例的距离，当训练集很大时，运算量是很大的，所以这种做法是不可取的；为了提高k近邻算法的运行效率，我们可以用特殊的结构来存储训练数据，下面介绍其中的kd树方法

构造kd树：

首先，我们看一下树的概念：
https://baike.baidu.com/item/树/2699484?fr=aladdin



下面我们来看一个例子：


下面是相应的kd树：

注：由于kd树的每一个根节点对应于一个k维超矩形区域，在将所得的区间划分转化为相应的kd树时可利用矩形区域的“包含”关系确定节点的“父子”关系