笔记之K-近邻算法及python实现

1、K-近邻算法

K-近邻算法主要用于处理分类问题，采用测量不同特征之间的距离进行分类。

1.1算法原理

• 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每个数据与所属分类的对应关系。
• 输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
• 一般来说，只选择样本数据集中前N个最相似的数据。K一般不大于20，最后，选择k个中出现次数最多的分类，作为新数据的分类。
  例如：下图中当K值为3时，预测绿色的点则为红色的类别，当K值选取5时，预测绿色的点则为蓝色的类别。
  

1.2算法特点

• 优点
  精度高、对异常值不敏感、无数据输入假定
• 缺点
  计算复杂度高、空间复杂度高
• 适用数据范围
  数值型和标称型

1.3建立模型三要素

• 距离度量
  特征空间中样本之间的距离是其相似程度的反映。一般算法中用到的距离度量方法是欧式距离。
  $L_p$距离公式：
  $$L_P\left({\chi }_i,{\chi }_j\right)={\left(\sum _{l=1}^n{\left|x_i^{\left(l\right)}-x_j^{\left(l\right)}\right|}^p\right)}^{\frac{1}{p}}$$
  其中: $p\ge 1,x_i,x_j\in {\mathbb{R}}^n$
  1.当$p=1$ 时，称为曼哈顿距离
  $$L_P\left({\chi }_i,{\chi }_j\right)=\sum _{l=1}^n\left|x_i^{\left(l\right)}-x_j^{\left(l\right)}\right|$$
  2.当$p=2$ 时，称为欧式距离
  $$L_2\left({\chi }_i,{\chi }_j\right)={\left(\sum _{l=1}^n{\left|x_i^{\left(l\right)}-x_j^{\left(l\right)}\right|}^2\right)}^{\frac{1}{2}}$$
  3.当$p=\infty$ 时，为维度空间中距离最大值
  $$L_P\left({\chi }_i,{\chi }_j\right)=\underset{l}{\max }\left|x_i^{\left(l\right)}-x_j^{\left(l\right)}\right|$$
  注：不同距离度量$p$所确定的最近邻近点是不同的。
  

• k值的选择

1. 当$k=1$时称为最近邻算法，此时将训练实例点中最接近输入实例点A的类别作为A分类类别。
2. $k$值的选择会对$k$近邻法的结果产生重大影响。
   ■如果$k$值选择较小，则相当于用较小的领域中的训练实例进行预测，“学习”的近似误差会减小。
    ◇优点：只有与输入实例比较接近的（相似的）训练实例才会对预测结果起作用。
    ◇缺点：“学习”的估计误差会增大，预测结果会对近邻的实例点非常的敏感。如果近邻的实例点刚好是噪声，预测结果就会出错。即$k$值的减小意味着整个模型变得复杂，容易发生过拟合。
   ■如果$k$值选择较大，则相当于用较大的领域中的训练实例进行预测。
    ◇优点：可以减少学习的估计预测。
    ◇缺点：学习的近似误差会增大，与输入实例较远的（不相似的）训练实例也会对预测产生影响，可能会使预测出错。即$k$值的增大就意味着整体模型变得简单。
   ■如果$k=N$，那么预测的结果只跟训练实例有关，模型将变得无意义。

应用中，通常使用交叉验证的方式选取最优的$k$值，对比不同$k$值下的平均误差率，选取最小的一个。

• 分类决策规则
    $k$近邻中的分类决策规则通常是多数表决，即由输入实例的 $k$个邻近的训练实例的类别的多数决定，少数服从多数原则。也可以通过距离的远近进行加权投票，距离越近的样本权重越大。
   多数表决规则：
  设分类的损失函数为0-1的损失函数，分类函数为
  f : R n → { c 1 , c 2 , ⋯   , c k } f:R^{n}\rightarrow \left \{ { c_{1}},{ c_{2}},\cdots ,{ c_{k}} \right \} f:Rn→{c1​,c2​,⋯,ck​}
  给定的输入实例$x\in \chi$,其最邻近的$k$个训练实例点构成集合$N_k(x)$和预测的类别$c_j$，那么误分类率为
  $$\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i\ne c_j)=1-\frac{1}{k}\sum _{x_i\in N_k(x)}I(y_i=c_j)$$
  要使误分类率最小即经验风险最小，就要使${\sum }_{x_i\in N_k(x)}I(y_i=c_j)$最大。
  以最开始的那张图为例，当K值取3时，$c_j$属于红色类别的误分类率为$1-\frac{1}{3}(1+1)=\frac{1}{3}$，$c_j$属于蓝色类别的误分类率为$1-\frac{1}{3}(1)=\frac{2}{3}$，所以$c_j$属于红色类别时误分类率最小。

2、kd树

 k近邻中主要考虑的问题是如何对训练数据进行快速k近邻搜索。最简单的实现方式是：线性扫描。当训练集很大是，计算非常耗时，可以考虑使用特殊的结构存储训练数据，常用到方法是使用kd树。

2.1 构造平衡kd树的算法

 kd树是二叉树，标识对k维空间的一个划分。构造平衡kd树的算法如下：
 ■输入：$k$维空间数据集 T = { x 1 , x 2 , ⋯   , x N } T=\left \{ x_{1},x_{2},\cdots,x_{N} \right \} T={x1​,x2​,⋯,xN​}，其中$x_i={\left(x_i^{(1)},x_i^{(2)},\cdots ,x_i^k\right)}^T$，$i=1,2,\cdots ,N$。
 ■输出：kd树。
 ■算法步骤：
  ★开始:构造根节点，根结点对应于包含$T$的$k$维空间的超矩形区域。选择$x^{(1)}$为坐标轴，以$T$所有实例点的$x^{(1)}$的中位数作为切分点$x_{median}$划分区域(切分是通过切分点并与坐标轴$x^{(1)}$垂直的超平面实现的),会划分成两个子区域。本次切分产生深度为1的左、右子结点。左子结点对应于坐标$x^{(1)}<x_{median}^{(1)}$的子区域,右子结点对于坐标$x^{(1)}>x_{median}^{(1)}$的子区域。将落在切分超平面上的实例点保存在根结点。
  ★重复：对深度为$j$的子节点，选择$x^{(l)}$为切分的坐标轴，$l=j(modk)+1$。本次切分之后树的深度为$j+1$。当树的深度超过$k$维时，切分轴又重复回到$x^{(1)}$
  ★结束：直到两个子区域没有实例存在时停止，最终得到kd树的区域划分。

2.2 kd树的最近邻搜索算法

输入：已构造的kd树和目标点$x$
输出：$x$的最近邻点
步骤：
1、初始化：当前最近点为$x=null$，当前的最近距离为$S_{min}=\infty$。
2、在kd树中找到包含测试点$x$的叶结点：从根节点出发，递归的向下访问kd树（二叉树搜索）。
 ■若测试点$x$当前维度的坐标小于切分点的坐标，则找到当前的左子结点。
 ■若测试点$x$当前维度的坐标大于切分点的坐标，则找到当前的右子结点。
 在访问过程中记录下访问的各结点的顺序，方便与后面的回退，存放于先进后出的队列Queue中。
3、循环，结束条件队列Queue为空。
 ■从队列Queue中弹出一个结点，设该结点为$\overrightarrow{x_q}$。计算$\vec{x}$到$\overrightarrow{x_q}$的距离，假设为$distanc{e}_q$。
  若$distanc{e}_q<distanc{e}_{nst}$ ,则更新最近点与最近距离：
$$distanc{e}_q=distanc{e}_{nst},\overrightarrow{x_{nst}}=\overrightarrow{x_q}$$
 ■如果$\overrightarrow{x_q}$为中间结点：考虑以$\vec{x}$为球心、以$distanc{e}_{nst}$为半径的超球体是否与$\overrightarrow{x_q}$所在的超平面相交。
  如果相交：
   若Queue中已经访问过了$\overrightarrow{x_q}$的左子树，则继续二叉树搜索$\overrightarrow{x_q}$的右子树。
   若Queue中已经访问过了$\overrightarrow{x_q}$的左子树，则继续二叉树搜索$\overrightarrow{x_q}$的右子树。
   二叉树搜索过程中，仍然在Queue中记录搜索的个结点。
4、循环结束时，$\overrightarrow{x_{nst}}$就是$\vec{x}$的最近邻点。

$kd$树搜索的平均计算复杂度为$O\left(logN\right)$，$N$为训练集大小。
通常最近邻搜索只需要见测几个叶结点即可：

但如果样本点的分布比较糟糕，需要几乎遍历所有的结点：

3、python实现

git地址：https://github.com/lingxiaaisuixin/MarchineLearning/tree/master/KNN