K近邻（KNN）算法总结

---

---

邻近算法，或者说K近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。Cover和Hart在1968年提出了最初的邻近算法。KNN是一种分类(classification)算法，它输入基于实例的学习（instance-based learning），属于懒惰学习（lazy learning）即KNN没有显式的学习过程，也就是说没有训练阶段，数据集事先已有了分类和特征值，待收到新样本后直接进行处理。与急切学习（eager learning）相对应。

一、KNN原理

KNN做回归和分类的主要区别在于最后做预测时候的决策方式不同。KNN做分类预测时，一般是选择多数表决法，即训练集里和预测的样本特征最近的K个样本，预测为里面有最多类别数的类别。而KNN做回归时，一般是选择平均法，即最近的K个样本的样本输出的平均值作为回归预测值。

KNN是通过测量不同特征值之间的距离进行分类。

思想：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

KNN工作原理：

• 1） 假设有一个带有标签的样本数据集（训练样本集），其中包含每条数据与所属分类的对应关系。
• 2） 输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较。
• 3） 计算新数据与样本数据集中每条数据的距离。
• 4） 对求得的所有距离进行排序（从小到大，越小表示越相似）。
• 5） 取前 k （k 一般小于等于 20 ）个样本数据对应的分类标签。
• 6） 求 k 个数据中出现次数最多的分类标签作为新数据的分类。

算法流程：

• 1）计算测试数据与各个训练数据之间的距离；
• 2）按照距离的递增关系进行排序；
• 3）选取距离最小的K个点；
• 4）确定前K个点所在类别的出现频率；
• 5）返回前K个点中出现频率最高的类别作为测试数据的预测分类

如下图：我们要确定绿点属于哪个颜色（红色或者蓝色），要做的就是选出距离目标点距离最近的k个点，看这k个点的大多数颜色是什么颜色。当k取3的时候，我们可以看出距离最近的三个，分别是红色、红色、蓝色，因此得到目标点为红色。

二、KNN的三要素

k值的选择、距离度量及分类决策规则是k近邻法的三个基本要素。根据选择的距离度量（如曼哈顿距离或欧氏距离），可计算测试实例与训练集中的每个实例点的距离，根据k值选择k个最近邻点，最后根据分类决策规则将测试实例分类。

2.1 k值的选择

对于k值的选择，没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适的k值。

选择较小的k值，就相当于用较小的领域中的训练实例进行预测，训练误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是泛化误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合；

选择较大的k值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少泛化误差，但缺点是训练误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。

一个极端是k等于样本数m，则完全没有分类，此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的类，模型过于简单。

2.2 距离度量

特征空间中的两个实例点的距离是两个实例点相似程度的反映。K近邻法的特征空间一般是n维实数向量空间$R_n$。使用的距离是欧氏距离，但也可以是其他距离，如更一般的$L_p$距离或Minkowski距离。

设特征空间X是n维实数向量空间 $R_n，x_i,x_j\in X,x_i=(x_i^{(1)},x_i^{(2)},\dots ，x_i^{(n)}{)}^T，x_j=(x_j^{(1)},x_j^{(2)},\dots ，x_j^{(n)}{)}^T$，$x_i,x_j$的$L_p$距离定义为：
L p ( x i , x j ) = ( ∑ l =