第三章 k近邻法——学习笔记

（一）$k$近邻算法

 $k$近邻法（$k$-nearest neighbor，$k$-NN）是一种基本的分类与回归方法。本书仅仅讨论分类，实质上就是利用训练数据对特征向量空间进行划分，并作为其分类的“模型”，三要素=$k$值的选择+距离度量+分类决策规则。其无显式的学习过程。
 算法
 输入：训练数据$T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}$，其中$x_i\in X=R_n$为实例特征向量； y i ∈ Y = { c 1 , c 2 , . . . , c K } y_i\in Y=\{c_1,c_2,...,c_K\} yi​∈Y={c1​,c2​,...,cK​}为实例的类别，$i=1,2,...,N$；实例特征向量$x$；
 输出：实例$x$所属的类别$y$
 （1）$N_k(x)$：$x$的邻域：根据给定距离度量找出的与$x$最邻近的$k$个点的集合；
 （2）在$N_k(x)$中根据分类决策规则决定类别：$$y=arg\underset{c_j}{\max }\sum _{x_i\in N_k(x)}I(y_i=c_i)，i=1,2,...,N;j=1,2,...,K$$$I$为指示函数，即当$y_i=c_i$时$I$为1，否则$I$为0。
 当仅有一个点即$k=1$时称为最近邻算法，最邻近法将与$x$最邻近点的类作为$x$的类。

（二）$k$近邻模型

1. 模型

 单元（cell）：距离实例点比其他点更近的所有点组成的区域；
 类标记（class label）：实例$x_i$的类$y_i$

2. 距离度量

 $L_p$距离：$$L_p(x_i,x_j)=(\sum _{l=1}^n|x_i^{(l)}-x_j^{(l)}{|}^p{)}^{\frac{1}{p}}$$
 这里$p\ge 1$。当$p=2$时，称为欧氏距离（Euclidean distance）；当$p=1$时，称为曼哈顿距离（Manhattan distance）；当$p=\infty$时，是各个坐标距离的最大值。如图为二维空间不同$p$与原点的$L_p$距离为1的点对应图形：

3. $k$值的选择

 $k\to$小 邻域$\to$小 学习的近似（approximation）误差$\to$小 学习的估计（estimation）误差$\to$大 模型都复杂度$\to$高

4. 分类决策规则

 多数表决，即输入实例的$k$个邻近的训练实例中的多数类决定输入实例的类。

（三）$k$近邻法的实现：$kd$树

1. 构造$kd$树

 相当于不断地用垂直于坐标轴的超平面将$k$维空间切分，构成一系列的$k$维超矩阵区域。
 算法（构造平衡$kd$树） 以案例形式说明
 例：给定一个二维空间的数据集：$$T=\{(2,3{)}^T,(5,4{)}^T,(9,6{)}^T,(4,7{)}^T,(8,1{)}^T,(7,2{)}^T\}$$构造一个$kd$平衡树。
 解：

2. 搜索$kd$树

 算法（用$kd$树的最近邻搜索） 以案例形式说明
 例：给定一个如图3.5所示的$kd$树，根节点为$A$，其子节点为$B，C$等。树上共储存7个实例点；另有一输出$S$，求其最邻域。
 解：