个人学习笔记（三）k近邻法

       $k$近邻法($k$-nearest neighbor, $k$-NN)是一种基本分类与回归方法，《统计学习方法》只讨论分类问题中的$k$近邻法。$k$近邻法假设给定一个训练数据集，其中的实例类别已定，分类时根据其$k$个最近邻的训练实例的类别，通过多数表决等方式进行预测。

1、$k$近邻算法

       给定训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1), (x_2,y_2),\cdots,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}       在训练集$T$中找出与$x$最近邻的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$，根据以下规则决定$x$的类别$y$
$$y=arg\underset{c_j}{\min }\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,\cdots ,N;j=1,2,\cdots ,K$$       式中，I为指示函数， Y = { c 1 , c 2 , ⋯   , c K } Y=\{c_1,c_2,\cdots,c_K\} Y={c1​,c2​,⋯,cK​}是实例的类别。$k$近邻法的特殊情况是$k=1$的情形，成为最近邻算法。$k$近邻法没有显式的学习过程。

2、$k$近邻模型

       $k$近邻法中，任何一个新的输入实例，它所述的类唯一地确定。这相当于将特征空间划分为一些子空间，确定子空间里的每个点所属的类，每个子空间的类别是唯一确定的。
       特征空间中两个实例点的距离是两个实例点相似程度的反映，这个距离可以是欧式距离，也可以是更一般的$L_p$距离($L_p$distance)或Minkowski距离(Minkowski distance)。
       $x_i$，$x_j$的$L_p$距离定义为
$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}+x_j^{(l)}{|}^p{)}^{\frac{1}{p}}$$       当$p=2$时，称为欧式距离(Euclidean distance)；当$p=1$时，称为曼哈顿距离(Manhattan distance)；当$p=\infty$时，它是各个坐标距离的最大值，即
$$L_{\infty }(x_i,x_j)=\underset{l}{\max }|x_i^{(l)}-x_j^{(l)}|$$       $k$值的选择会对结果产生重大影响。
       如果选择较小的$k$值，相当于用较小的邻域进行预测，近似误差(approximation error)会减小，但估计误差(estimation error)会增大。换句话说，$k$值减小意味着模型变得复杂，容易发生过拟合。
       如果选择较大的$k$值，估计误差减小，但近似误差增大，模型变得简单。在应用中，$k$值一般取一个比较小的数值，通常用交叉验证来选取最优$k$值。
       $k$近邻法中的分类规则往往是多数表决。多数表决规则(majority voting rule)有如下解释：
       对给定的实例$x\in X$，其最近邻的$k$个训练实例点构成集合$N_k(x)$，若涵盖$N_k(x)$区域的类别是$c_j$，那么误分类率是
$$\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i̸=c_j)$$       可以看到，多数表决规则等价于经验风险最小化。

3、$k$近邻法的实现：$kd$树

       当训练集很大时，如果要计算输入实例与每一个训练实例之间的距离，以确定$k$个最近邻点，计算非常耗时，因此使用$kd$树结构存储训练数据，以减少计算距离的次数。
       构造$kd$树相当于不断用垂直于坐标轴的超平面将$k$维空间切分，构成一系列的$k$维超矩形区域，$kd$树的每个结点对应于一个$k$维超矩形区域。
       首先构造根节点，使其对应于包含所有实例点的超矩形区域；再通过递归方法，不断对$k$维空间进行切分，生成子结点。通常依次选择坐标轴对空间切分，选择训练实例点在选定坐标轴上的中位数(median)为切分点，这样得到的$kd$树是平衡的。
       构造完$kd$树后，接着考虑如何进行搜索，以最近邻搜索为例。
       （一）首先找到包含目标点$x$的叶结点：从根节点出发，递归向下访问$kd$树，若目标点$x$当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点，直到子结点为叶结点。
       （二）暂时以此叶结点为“当前最近点”。
       （三）递归地向上回退，如果该结点保存的实例点比“当前最近点”距离目标点$x$更近，则以该结点为“当前最近点”；检查“当前最近点”的父节点的另一子结点对应的区域是否有更近的点。
       （四）当回退到根节点时，搜索结束，最后的“当前最近点”即为$x$的最近邻点。
       $kd$树的平均计算复杂度是$O(logN)$，$N$为训练实例数。$kd$树更适用于训练实例数远大于空间维数时的$k$近邻搜索，当训练实例数接近空间维数时，它的效率会迅速下降，几乎接近线性扫描。