KNN算法（邻近算法）

一、KNN算法简介：

        KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路非常简单直观：如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。简单来讲，KNN就是“近朱者赤，近墨者黑”的一种分类算法。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。     

        KNN是一种基于实例的学习，属于懒惰学习，即没有显式学习过程。

        要区分一下聚类（如Kmeans等），KNN是监督学习分类，而Kmeans是无监督学习的聚类，聚类将无标签的数据分成不同的簇。

二、KNN算法流程

        总体来说，KNN分类算法包括以下4个步骤： 

①准备数据，对数据进行预处理。

②计算测试样本点（也就是待分类点）到其他每个样本点的距离。

③对每个距离进行排序，然后选择出距离最小的K个点。

④对K个点所属的类别进行比较，根据少数服从多数的原则，将测试样本点归入在K个点中占比最高的那一类。

三、KNN算法三要素

        （一）距离度量

        要度量空间中点距离的话，有好几种度量方式，比如常见的曼哈顿距离计算，欧式距离计算等等。不过通常KNN算法中使用的是欧式距离，欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。

        KNN算法最简单粗暴的就是将预测点与所有点距离进行计算，然后保存并排序，选出前面K个值看看哪些类别比较多。

        （二）k的取值

        kNN中的k是一个超参数，需要我们进行指定，一般情况下这个k和数据有很大关系，都是交叉验证进行选择，但是建议使用交叉验证的时候，k∈[2,20]，使用交叉验证得到一个很好的k值。需注意最好K的取值为奇数，防止出现平票而无法分类的情况。

        通过交叉验证计算方差后你大致会得到下面这样的图：

        这个图其实很好理解，当你增大k的时候，一般错误率会先降低，因为有周围更多的样本可以借鉴了，分类效果会变好。但注意，和K-means不一样，当K值更大的时候，错误率会更高。这也很好理解，比如说你一共就35个样本，当你K增大到30的时候，KNN基本上就没意义了。

        所以选择K点的时候可以选择一个较大的临界K点，当它继续增大或减小的时候，错误率都会上升，比如图中的K=10。

        k值还可以表示我们的模型复杂度，k值越小，意味着模型复杂度变大，更容易过拟合(用极少数的样例来绝对这个预测的结果，很容易产生偏见，这就是过拟合)。k值越大，学习的估计误差越小，但是学习的近似误差就会增大，容易造成欠拟合。

四、案例分析

        数据如下表，其中包括10个人的身高、体重和年龄数据，然后预测第十一个人的体重。

        为了更清晰地了解数据间的关系，我们用坐标轴将身高和年龄表示出来，其中横坐标为年龄(age)、纵坐标为身高(Height)。

        通过上图可以看到，11点的值是需要求解的，那么怎么求呢？我们可以看到在图中11点更接近于5点和1点，所以其体重应该更接近于5点和1点的值，也就是在72-77之间，这样我们就可以大致得到11点的体重值。下面我们用算法来实现这一过程。

        1、计算待测点到已知点的距离

        2、选择距离待测点最近的K个点，k值为人工设置的，至于k值如何设置合适在后边讨论。在这个例子中，我们假设k=3，即点1、5、6被选择。

        3、将点1、5、6的值取平均值作为最终的预测结果。即11点的Weight=(77+72+60)/3 = 69.66 kg

        4、我们选择k=3时

        最终的预测结果为   ID11 = (77+72+60)/3 = 69.66 kg

        5、当我们选择k=5时

        最终的预测结果为  ID 11 = (77+59+72+60+58)/5= 65.2 kg
        我们可以看到k值不同结果也将不同，因此我们需要选择一个合适的k值来获得最佳的预测结果。我们的目标就是获得预测值与真实值之间最小的误差。

        6、下面我们看一下k值与误差的关系曲线

        由曲线可得，如果K值太小，则会发生过拟合；如果k值太大，则会发生欠拟合。因此我们根据误差曲线选择最佳k值为9，你也可以使用其他方法寻找最佳k值。

五、KNN算法特点：

优势:

        KNN方法思路简单，易于理解，易于实现，无需估计参数

劣势：

        样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最邻近点。目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类作用不大的样本。

改进策略：        

一是寻求更接近于实际的距离函数以取代标准的欧氏距离，典型的工作包括 WAKNN、VDM ；

二是搜索更加合理的K值以取代指定大小的K值典型的工作包括SNNB、 DKNAW ；

三是运用更加精确的概率估测方法去取代简单的投票机制，典型的工作包括 KNNDW、LWNB、 ICLNB  ；

四是建立高效的索引，以提高KNN算法的运行效率，代表性的研究工作包括 KDTree、 NBTree。还有部分研究工作综合了以上的多种改进方法。