读书笔记-统计学习方法-k近邻法

读书笔记-统计学习方法-$k$近邻法

$k$近邻

算法：

​ 输入：训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y ( N ) ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y(N))\} T={(x1​,y1​),(x2​,y2​),...,(xN​,y(N))}
其中，$x_i\in \mathcal{X}\subseteq {\mathbf{R}}^n$为实例的特征向量， y i ∈ Y = { c 1 , c 2 , . . . , c K } y_i \in \mathcal{Y} =\{c_1,c_2,...,c_K\} yi​∈Y={c1​,c2​,...,cK​}为实例的类别，$i=1,2,...,N$；实例特征向量 $x$；

​ 输出：实例$x$所属的类$y$。

（1）根据给定的距离度量，在训练集$T$中找出与$x$最邻近的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$；

（2）在$N_k(x)$中根据分类决策规则（如多数表决）决定$x$的类别$y$:
$$y=\arg \underset{c_j}{\max }\sum _{x_i\in N_k(x)}I(y_i=c_j),i=1,2,...,N;j=1,2,...,K$$
式（2）中，$I$为指示函数，即当$y_i=c_j$时$I$为$1$，否则$I$为$0$。

$k=1$时为最近邻算法。

$k$近邻法三要素：

• $k$值的选择

  $k$值减小，近似误差减小，估计误差增大，模型变复杂，容易过拟合

  $k$值增大，近似误差增大，估计误差增大，模型变简单。

  一般选较小的$k$值。通常采用交叉验证法选取最优的$k$值

• 距离度量
  $$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}}$$
  $p\ge 1$。当$p=2$时，称为欧氏距离；当$p=1$时，称为曼哈顿距离；$p=\infty$时，它是各个坐标距离的最大值。

• 分类决策规则

  多数表决等价于经验风险最小化

  ---

  $kd$树

  $k$近邻法最简单的实现方法是线性扫描，这时计算输入实例与每一个训练实例的距离。

  $kd$树是一种对$k$维空间的实例点进行存储以便对其进行快速检索的树形数据结构

  算法：

  ​ 输入：$k$维空间数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y ( N ) ) } T = \{(x_1,y_1),(x_2,y_2),...,(x_N,y(N))\} T={(x1​,y1​),(x2​,y2​),...,(xN​,y(N))}，其中$x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(k}{)}^T,i=1,2,...,N$；

  ​ 输出：$kd$树

  ​ （1）开始，构造根节点，根节点对应于包含$T$的$k$维空间的超矩形区域。

  ​ 构造根节点，使根节点对应于$k$维空间中包含所有实例点的超矩形区域；通过下面的递归方法，不断地对$k$维空间进行切分，生成子结点。在超矩形区域（结点）上选择一个坐标轴和在此坐标轴上的一个切分点（中位数），确定一个超平面，这个超平面通过选定的切分点并垂直于选定的坐标轴，将当前超矩形区域切分为左右两个子区域（子结点）；这时实例被分到两个子区域。这个过程直到子区域内没有实例时终止（终止时的结点为叶结点）。在此过程中，将实例保存在相应的结点上。

  ​ 搜索$kd$树：给定一个目标点，搜索其最近邻。首先依构造$kd$树的坐标轴切分找到包含目标点的叶结点；然后以此叶结点的实例点作为当前最近点，以目标点为球心，当前最近点为半斤构造超球体，返回当前节点的父结点，如果父结点的另一节点的超矩形区域与超球体相交，那么在相交区域寻找与目标点更近的实例点。如果存在这样的点，将此点作为新的当前最近点。算法转到更高一级的父结点。如果父结点的另一节点的超矩形区域与超球体不相交，或不存在比当前最近点更近的点，则停止搜索。