【统计学习方法】第3章 k邻近法

$k$ 邻近法（k-nearest neighbor，k-NN）是一种基本分类与回归方法，这里只讨论分类问题中的 $k$ 邻近法。

3.1 k 邻近算法

给定一个训练数据，对新的输入实例，在训练数据集中找到与该实例最邻近的 $k$ 个实例，这 $k$ 个实例的多数属于某个类，就把该输入实例分为这个类。

$k$ 邻近法的特殊情况时 $k=1$ 的情形，称为最邻近算法。对于输入的实例点（特征向量）$x$，最邻近法将训练集数据中与 $x$ 最邻近点的类作为 $x$ 的类。$k$ 邻近法没有显式的学习过程。

3.2 k 邻近模型

$k$ 邻近法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素——距离度量、$k$ 值的选择和分类决策规则决定。

3.2.1 距离度量

特征空间中两个实例点的距离是两个实例点相似程度的反映。$k$ 近邻模型的特征空间一般是 $n$ 维实数向量空间 ${\mathbb{R}}^n$。使用的距离是欧式距离，但也可以是其他距离。

设特征空间 $\mathcal{X}$ 是 $n$ 维实数向量空间 ${\mathbb{R}}^n$，$x_i,x_j\in \mathcal{X}$，$x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(n)}{)}^T$，$x_j=(x_j^{(1)},x_j^{(2)},\cdots ,x_j^{(n)}{)}^T$，$x_i,x_j$ 的 $L_p$ 距离定义为

$$L_p(x_i,x_j)={\left(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p\right)}^{\frac{1}{p}}$$

这里 $p⩾1$。当 $p=2$ 时，称为欧式距离（Euclidean distance），即

$$L_2(x_i,x_j)={\left(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^2\right)}^{\frac{1}{2}}$$

当 $p=1$ 时，称为曼哈顿距离（Manhattan distance），即

$$L_1(x_i,x_j)=\left(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}|\right)$$

当 $p=\infty$ 时，它是各个坐标距离的最大值，即

$$L_{\infty }(x_i,x_j)=\underset{l}{\max }|x_i^{(l)}-x_j^{(l)}|$$

3.2.2 k 值选择

$k$ 值的选择会对 $k$ 近邻法的结果产生重大影响。

如果选择较小的 $k$ 值，就相当于用较小的领域中的训练实例进行预测，“学习”的近似误差（approximation error）会减小，只有输入实例较近的（相似的）训练实例才会对预测结果起作用。但缺点是“学习”的估计误差（estimation error）会增大，预测结果会对近邻的实例点非常敏感。如果近邻的实例点恰好是噪声，预测就会出错。换句话说，$k$ 值的减小就意味着整体模型变得复杂，容易发生过拟合。

如果选择较大的 $k$ 值，就相当于用较大领域中的训练实例进行预测。其有点是可以减小学习的估计误差。但缺点是学习的近邻误差会增大。这时与输入实例较远的（不相似的）训练实例也会对预测起作用，使预测发生错误。$k$ 值的增大就意味着整体的模型变得简单。

在应用中，$k$ 值一般取一个比较小的数值。通常采用交叉验证法来选取最优的 $k$ 值。

3.2.3 分类决策规则

$k$ 近邻法的分类决策规则往往是多数表决，即由输入实例的 $k$ 个近邻的训练实例中的多数类决定输入实例的类。

3.3 k 邻近法的实现：kd 树

$k$ 近邻法最简单的实现方法是线性扫描（linear scan）。这时计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时，这种方法是不可行的。

为了提高 $k$ 近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。

3.3.1 构造 kd 树

输入：$k$ 维空间数据集 T = { x 1 , x 2 , ⋯   , x N } T=\{x_1,x_2,\cdots,x_N\} T={x1​,x2​,⋯,xN​}，其中 $x_i=(x_i^{(1)},x_i^{(2)},\cdots ,x_i^{(k)}{)}^T,i=1,2,\cdots ,N$

输出：kd 树

1. 开始：构造根结点，根结点对应于包括 $T$ 的 $k$ 维空间的超矩形区域。
2. 重复：对深度为 $j$ 的结点，选择 $x^{(l)}$ 为切分的坐标轴，$l=j(modk)+1$，以该结点的区域中所有实例的 $x^{(l)}$ 坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并于坐标轴 $x^{(l)}$ 垂直的超平面实现。
3. 直到两个子区域没有实例存在时停止，从而形成 kd 树的区域划分。

3.3.2 搜索 kd 数

输入：已构造的 kd 树；目标点 $x$

输出： $x$ 的最邻近

1. 在 kd 树中找出包含目标点 $x$ 的叶节点：从根结点出发，递归地向下访问 kd 树。若目标点 $x$ 当前维的坐标小于切分点的坐标，则移动到左子结点，否则移动到右子结点，直到子结点为叶结点为止。
2. 以此结点为“当前最近点”
3. 递归地向上回退，在每个结点进行以下操作：
   1. 如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”
   2. 当前最近点一定存在于该结点一个子结点对应的区域。检查该子结点的父结点的另一个子结点对应的区域是否有更近的点。具体地，检查另一子结点对应的区域是否与以目标点为球心、以目标点与“当前最近点”的距离为半径的超球体相交。如果相交，可能在另一个子结点对应区域内存在距离目标点更近的点，移动到另一个子结点，接着，递归地进行最邻近搜索；如果不相交，向上回退
4. 当回退到根结点时，搜索结束。最后的“当前最近点”即为 $x$ 的最近邻点。