机器学习值KNN：K近邻算法（一：算法原理）

目录

一、KNN概述

二、KNN三要素 

2.1、距离度量 

2.2 、K值的选择

2.3、分类决策规则

三、KNN的优缺点 

四、KNN的实现：kd树

4.1、kd树的构造

4.2、kd树的搜索 

---

一、KNN概述

KNN是一种常见的有监督学习算法，可以用于分类，也可以用于回归，比较常用于分类。 

K近邻算法的直观解释就是给定一个已知样本分类的训练数据集，当有新样本输入时，在训练集中找到K个和新样本距离最近的的训练样本，这K个训练样本多数属于哪个类别，就把这个新样本判定为哪个类别。 

二、KNN三要素 

2.1、距离度量 

多维特征空间中，两个样本的距离，代表这两个样本的相似程度，距离越近，相似程度就越高，属于同一类别的概率就越大，KNN通常使用的距离度量方法是欧几里得距离，简称欧氏距离。在n维特征空间中，欧氏距离的测量公式为：

                                                                                     

也有其他的距离度量方式，如更一般化的Lp距离或Minkowski距离。其中Lp距离的度量公式为：

                                                                              

 对于上式，当P=1时，Lp距离称为曼哈顿距离，当P=2时，Lp距离称为欧氏距离。对于两者的区别，如下图，图中绿线代表x1与x2的欧氏距离，而红色线代表两点的曼哈顿距离。

2.2 、K值的选择

对于KNN算法而言，K值的选择至关重要。

当K的值选择较小时， 就是用较小邻域中的训练集来近似预测。此时，近似误差会很小，也就是在训练集上的误差会很小。但估计误差会比较大，模型失去泛化能力，在测试集上的误差较大，测试结果对近邻的样本点异常敏感。当K