统计学习方法笔记（三）K近邻算法

K近邻法（KNN）是一种基本的分类和回归的方法，KNN的基本思想是给出一定数量带有标签的训练样本，使用这些训练样本将特征空间划分成许多的子空间，当一个新的测试样本进来以后，这个测试样本一定会落在一个超矩形区域内部，然后找到距离这个测试样本最近的K个训练样本，用这些训练样本的标签去投票，票数最多的类别就是这个测试样本的类别。

KNN的三个要素：

K值选择，距离度量，分类决策规则。

算法描述：

1.     根据所给定的距离度量，在训练样本T中选出K个与测试样本最接近的训练样本点。包含这K个样本点的邻域我们记为：Nx（K）。

2.     在Nx（K）中根据分类决策函数判断测试样本点所属的类别：

其中I为指示函数。内部料件成立则为1，否则为0.

距离度量：

通常KNN所用的距离度量通常为欧氏距离或者曼哈顿距离，更一般的是Lp距离。当P为1的时候为曼哈顿距离，当P为2的时候为欧氏距离。

设特征空间X是n维实数向量空间：

当P为正无穷的时候，它表示的是各个坐标距离的最大值，即

在二维空间中，P取不同的值，与原点为1的点所组成的图形如下图所示， p越小那么数据的分布也就越稀疏。

KNN的实现：Kd树

Kd树是一种对k维空间中的样本点进行存储以便对其进行快速检索的树形结构，它是一种二叉树，表示对k维空间的一个划分。构造k树相当于不断的用垂直于坐标轴的超平面去划分k维空间，构成一些列的k维超矩形区域，kd树的每个节点对应于一个k维的超矩形区域。

Kd树的构造：

通俗来讲，对于一个样本空间的样本点，计算每一个维度的方差，按照方差最大的那个维度来排序（至于为什么按照方差最大的维度去分割，这是因为方差大代表的是数据分散的比较开，这样分割会有更高的分割效率），取中位数作为根节点，小于中位数的样本点作为左子树，大于的作为右子树。重复进行，直到得到一棵完整的二叉树。

Kd树的检索：

1.     首先找到包含目标节点的叶子结点：从根节点出发，按照相应维度比较，递归向下访问kd树，如果目标点x的当前维度的坐标小于根节点，则移动到左子节点，否则移动到右子节点，直到子节点为叶子节点为止。

2.     找到叶子节点并不一定就是距离最近的点，但是最近邻点一定是以查询点为圆心并且通过叶子节点的圆域内。

3.     为了找到真正的最近邻点，还需要递归的向上回退，检查该节点的另一个子节点区域，如果有“最近邻”节点，那么替换原来的点得到最新的“最近邻”节点，然后检查父节点，如果不是“最近邻”节点，那么继续往上回退，直到到达根节点。遍历结束，“最近邻”节点即为最近邻节点，结束搜索。

KNN是一种lazy-learning算法，它不需要训练，分类的时间复杂度为N（训练样本的个数），引入kd树来实现KNN时间复杂度为logNkd树更适合于训练样本树远大于空间维度的情况，如果训练样本数接近于空间维度，那么它的效率会迅速下降，几乎接近于线性扫描。

KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成正比。

该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。因此可以采用权值的方法（和该样本距离小的邻居权值大）来改进。该方法的另一个不足之处是计算量较大，因为对每一个待分 类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。