03 K近邻法——读书笔记

一、思维导图：

二、基本概念：

• $k$ 近邻法：是一种基本分类和回归方法。给定一个训练数据集，其中的类别已经确定，对于输入的实例，在训练数据集中找到与该实例最邻近的 $k$ 个实例，这 $k$ 个实例中多数属于的类别就作为输入实例的类别输出。
• 最近邻：是 $k$ 近邻方法的一种特殊情况，即当$k=1$时的情形。
• 显式学习过程：即在学习过程中需要进行加工，$k$ 近邻方法不属于显式学习过程。
• 单元：对于每个训练实例点 $x$，距离该点比其他点更近的所有点组成的一个区域称为单元。
• 特征空间的一个划分：每个训练实例点都拥有一个单元，所有训练实例点的单元构成对特征空间的一个划分。

三、k近邻算法：

1. 算法定义：
   输入：训练数据集 $T=\left\{\begin{array}{c}(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\end{array}\right\}$， 其中，$x_i\in \chi \subseteq R^n$ 为实例的特征向量，$y_i\in \gamma =\left\{\begin{array}{c}{c}_1,c_2,...,c_K\end{array}\right\}$ 为实例的类别，$i=1,2,...,N$；
   实例特征向量 $x$。
   输出：实例$x$所属的类别$y$。
   （1）根据给定的距离度量，在训练集$T$中找出与$x$最近邻的$k$个点，称涵盖这$k$个点的$x$的邻域记作 $N_k(x)$；
   （2）在这 $N_k(x)$中根据分类决策规则（如多数表决）决定 $x$ 的类别 $y$，规则如下:
   $$y=argma{x}_{c_j}\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N;j=1,2,...,K.$$
   其中，$I$是指示函数，即当 $y_i=c_j$时，$I$=1，否则 $I$=0。

四、k近邻模型：

1. 模型：
   $k$ 近邻模型实际上是对特征空间的划分。模型主要有三个基本要素——距离度量、$k$ 值的选择、分类决策规则。当这些元素确定之后，实例 $x$的类别就唯一地确定了。这相当于根据要素将特征空间划分为一些子空间，确定子空间里每个点属于的类。
2. 距离度量：
   前提：特征空间中两个实例点之间的距离就是两个实例点相似程度的反映。使用的距离为欧氏距离或者更为一般的 $L_p$距离。
   ①$L_p$距离：$$L_p(x_i,x_j)=(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^p{)}^{\frac{1}{p}}$$ 其中，特征空间 $\chi$ 是 $n$ 维实数向量空间$R_n$，$x_i,x_j\in \chi ，x_i=（x_i^{(1)},x_i^{(2)},...,x_i^{(n)}）,x_j=（x_j^{(1)},x_j^{(2)},...,x_j^{(n)}）$
   ②欧氏距离（当$p=2$时）：
   $$L_2(x_i,x_j)=(\sum _{l=1}^n{\left|x_i^{(l)}-x_j^{(l)}\right|}^2{)}^{\frac{1}{2}}$$
   ③曼哈顿距离（当$p=1$时）：
   $$L_1(x_i,x_j)=(\sum _{l=1}^n\left|x_i^{(l)}-x_j^{(l)}\right|)$$
   ④各个坐标距离的最大值（当$p=\infty$时）：
   $$L_{\infty }(x_i,x_j)=ma{x}_l\left|x_i^{(l)}-x_j^{(l)}\right|$$
3. $k$ 值的选择：
   $k$值的选择会对 $k$近邻法的结果产生重大影响，在应用中，一般会选取比较小的值，通常采用交叉验证法来选取最优的$k$值。
   ①$k$值选取过小，会降低模型的近似误差，但是缺点是估计误差会增大，距离实例点较近的点对预测结果有较大影响，会导致模型过于复杂，还可能产生过拟合问题；
   ②$k$值选取过大，使得模型过于简单，与$k$值选取过小相反，离实例点较远的点会对预测结果产生错误影响。
4. 分类决策规则：
   分类决策规则往往是多数表决。

五、k近邻法的实现：kd树：

1. 构造$kd$树：
   算法3.2（构造平衡$kd$树）：
   输入：$k$ 维空间数据集 $T=\left\{\begin{array}{c}{x}_1,x_2,...,x_N\end{array}\right\}，$ 其中$x_i=（x_i^{(1)},x_i^{(2)},...,x_i^{(k)}{）}^T，i=1,2,...,N;$
   输出：$kd$ 树
   (1) 开始：构造根结点，根结点对应包含 $T$ 的 $k$ 维空间的超矩形区域。
   选择$x^{(1)}$为坐标轴，以 $T$ 中所有实例的$x^{(1)}$坐标的中位数为切分点，将根结点对应的超矩形区域分为两个子区域。切分由通过切分点并与坐标轴$x^{(1)}$垂直的超平面实现。
   由根结点生成深度为1的左右子节点；左子结点对应坐标$x^{(1)}$小于切分点的子区域，右结点对应于坐标$x^{(1)}$大于切分点的子区域。
   将落在切分超平面上的实例点保存在根结点。
   (2) 重复：对深度为$j$的结点，选择$x^{(l)}$为切分的坐标轴，其中$l=j(modk)+1$，以该结点的区域中所有实例的$x^{(l)}$ 坐标的中位数为切分点，将该结点对应的超矩形区域切分为两个子区域。切分由通过切分点并与坐标轴$x^{(l)}$垂直的超平面实现。
   由该结点生成深度为$j+1$的左、右子结点；
   将落在切分超平面上的实例点保存在该结点。
   (3) 直到两个子区域没有实例存在时停止。从而形成$kd$树的区域划分。

2. 搜索$kd$树：
   算法3.3（用$kd$树的最近邻搜索）：
   输入：已构造的$kd$树，目标点$x$；
   输出：$x$的最近邻。
   （1）在 $kd$ 树中找出包含目标点 $x$ 的叶节点：从根节点出发，递归地向下访问 $kd$ 树。若目标点 $x$当前维的坐标小于切分点的坐标，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。
   （2）以此叶节点为“当前最近点”。
   （3）递归地向上回退，在每个节点进行以下操作：
   （a） 如果该节点保存的实例点比当前最近点距离目标点更近，则以该实例点为“当前最近点”。
   （b）当前最近点一定存在于该节点一个子节点对应的区域。检查该子节点的父节点的另一子节点对应的区域是否有更近的点。具体地，检查另一子节点对应的区域是否与以目标点为球心、以目标点与“当前最近点”间的距离为半径的超球体相交。
   如果相交，可能在另一个子节点对应的区域内存在距目标点更近的点，移动到另一子节点。接着，递归地进行最近邻搜索；
   如果不想交，向上回退。
   （4）当回退到根节点时，搜索结束。最后的“当前最近点”即为 $x$ 的最近邻点。