统计学习方法 --- k近邻法

一.k近邻算法

二.k近邻模型

$x_i,x_j的L_p距离定义L_p(x_i,x_j)=({\sum }_{i=1^n}|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{1/p}$
当p=2时称为欧氏距离，$L_2(x_i,x_j)=({\sum }_{i=1^n}|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{1/2}$
当p=1时称为曼哈顿距离，$L_1(x_i,x_j)=({\sum }_{i=1^n}|x_i^{(l)}-x_j^{(l)}{|}^p)$
当p=oo时，$L_{oo}(x_i,x_j)=({\sum }_{i=1^n}|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{1/oo}$

三.k值的选择

k值的选择会对k近邻法的结果产生重大的影响，当k=1时选择距离为1的点作为分类：
误分类率为 $1/k{\sum }_{x_i\in N_k(x)}I(y_i!=c_j)=1-1/k{\sum }_{x_i\in N_k(x)}I(y_i=x_i)$

四.kd树

实现k近邻法主要是对训练数据进行快速k近邻搜索，k近邻最简单实现方法是线性扫描，当数据量大时，计算非常耗时，所以有了kd树。
kd树是一种对k维空间中进行存储以便对其进行快速检索的树形的数据结构。kd树是二叉树，表示k维空间的一个划分