统计学习方法：k近邻法

k近邻法输入是实例的特征向量，对应特征空间的点，输出为实例的类别，可以取多类。
3.1 k近邻算法
给定一个训练数据集，对于新输入的实例，找到与该实例最相近的k个实例，这k个实例又属于某个类，就把该输入实例分为这个类。

3.2 k近邻模型
k近邻模型有三个基本要素：距离度量，k值的选择，分类决策规则
3.2.1 模型
特征空间中，对于每一个训练输入实例，距离该点更近的所有点组成一个区域，叫做单元，每个实例拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分。
3.2.2 距离度量
特征空间中两个实例点的距离是其相似程度的度量。

3.2.3 k值的选择
k值过小，近似误差减小，但估计误差变大模型复杂，容易过拟合；k值过大，近似误差增大，但估计误差减小，模型简单。
应用中一般k取较小的值，使用交叉验证来选择最优的值。
3.2.4 分类决策规则
多数表决，等价于经验风险最小化
3.3 k近邻的实现：kd树
3.3.1 构造ｋｄ树
kd树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构，是二叉树。构造kd树相当于不断用垂直于坐标轴的超平面将k维空间切分。
构造kd树的方法如下：构造根节点，使用下面的递归方法不断对k维空间进行切分。

3.3.2 搜索kd树
使用kd树进行搜索，可以省去对大部分数据点的搜索，从而减少搜索量。