统计学习方法-第三章K近邻

k近邻的三要素：距离度量，k值的选择，分类决策规则

距离的度量：欧式距离，曼哈顿距离，无穷范式

K值的选取：k值得选择会对k近邻的结果产生重大的影响 
如果选择较小的K值，就相当于用较小的邻域中的训练实例进行预测，“学习”的近似误差会减小，只有输入实例较近的训练实例才会对预测结果起作用。但缺点是“学习”的估计误差会增大，预测结果会对近邻实例点非常敏感。如果邻近的实例点恰巧是噪声，预测就会出错。换句话说，k值得减小就意味着整体模型非常复杂，容易发生过拟合 
如果选择较大的k值，就相当于用较大邻域中的训练实例进行预测，其实有点是减少学习的估计误差，但缺点是学习的近似误差会增大。这时与输入实例较远的训练实例也会起预测作用，使预测发生错误，k值得增大就意味着整体的模型变得简单 
如果K=N，那么无论输入实例是什么，都将简单的预测它属于训练实例中最多的类。这时，模型过于简单，完全忽略训练中的大量有用信息，是不可取的 
在应用中，k值一般取一个比较小的数值，通常采用交叉验证法来选择最优k值

 

K近邻搜索最简单的方法是线性扫描，加快搜索kd树的建立与搜索，复杂度O(logN)

kd树的建立：k维空间数据集，以每一维坐标的中位数为切分点，递归切分区域。

搜索：找到最近叶节点，以查询点为圆心，与叶节点长度为半径的超球体，观察是否有更近的节点，有则替换当前最近点，一直回溯到根节点。