统计学习方法第三章

k近邻法

距离新实例最近的k个实例中占比最高的即新实例的类别

度量距离

设特征空间$\mathcal{X}$是$n$维实数向量空间${\mathrm{R}}^n,x_i,x_j\in \mathcal{X},x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}\right)}^{\mathrm{T}}$,
$x_j={\left(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}\right)}^{\mathrm{T}},x_i,x_j$的$L_p$距离定义为
$$\begin{array}{rl}& L_p\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p\right)}^{\frac{1}{p}}\\ & s.t.p⩾1\end{array}$$

当$p=2$时,称为欧氏距离（Euclideandistance）,即
$$L_2\left(x_i,x_j\right)={\left(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^2\right)}^{\frac{1}{2}}$$
当$p=1$时,称为曼哈顿距离(Manhattandistance),即
$$L_1\left(x_i,x_j\right)=\sum _{l=1}^n\left|x_i^{(l)}-x_j^{(l)}\right|$$
当$p=\infty$时,它是各个坐标距离的最大值,即
$$L_{\infty }\left(x_i,x_j\right)=\underset{l}{\max }\left|x_i^{(l)}-x_j^{(l)}\right|$$

k近邻法的实现:kd树

目的：存储训练数据，便于在k维空间中快速检索，减少计算距离的次数

实现方法：

​ 找出一个维度（即选择一个特征可以根据特征的方差选择，选择最大的，也可以选择第一个）

​ 找出训练数据中对应特征的值的中位数作为当前维度的切分点，将超矩形区域一分为二

​ $kd$树的下一层则对下一个维度进行划分$（d=j\%k+1）$

最近邻搜索算法：

输入:已构造的$kd$树,目标点$x$;输出:$x$的最近邻。

1. 在$kd$树中找出包含目标点$x$的叶结点:用查找二叉树的方法查找当前维的坐标。直到子结点为叶结点为止。
2. 以此叶结点为“当前最近点”。
3. 递归地向上回退,在每个结点进行以下操作:
   1. 如果该结点保存的实例点比当前最近点距离目标点更近,则以该实例点为”当前最近点”。
   2. 当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一子结点对应的区域是否有更近的点。具体地,检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点"间的距离为半径的超球体相交。如果相交,可能在另一个子结点对应的区域内存在距目标点更近的点,移动到另一个子结点。接看,递归地进行最近邻搜系;如果不相交，向上回退。
4. 当回退到根结点时,搜索结東。最后的“当前最近点”即为$x$的最近邻点。
   如果实例点是随机分布的,$kd$树搜索的平均计算复杂度是$O(\log N)$,这里$N$是训练实例数。$kd$树更适用于训练实例数远大于空间维数时的$k$近邻搜索。当空间维数接近训练实例数时,它的效率会迅速下降,几乎接近线性扫描。