K-近邻算法（KNN）

1. KNN概述

2. KNN原理

3. 常用的距离度量准则

4. KNN优缺点

 

1.概述：

简单的说，K-紧邻算法采用不同特征值之间距离的方法进行分类。是理论上比较成熟，也是机器学习中最简单的算法之一。

2.原理：
存在一个样本数据集合，也称之为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。当输入没有标签（未知分类）的数据时，将数据的每个特征与样本集中数据对应的特征进行比较，然后提取样本集中最相似的K个数据点（这也是K紧邻中K的意思），选择这K个样本数据集中比例最高的分类作为新数据的分类。

                                        

假设存在上图的的数据集，其中矩形点和圆形点都是训练样本，其中矩形点为A类，圆形点为B类，中间的星型黄点为未知分类标签的点，此时K假设为4（寻找4个离星型黄点最近的点），经过某种距离算法处理，abcd是离星型黄点最近的4个点。由于此时abcd4个点中，A类占3个，B类只有1个，故星型黄点被分为A类。

3. 常用的距离度量准则

在上述原理中，提取样本集中最相似的K个点的算法，这里用常用的欧氏距离来衡量测试样本和训练样本的相似程度。

4. KNN优缺点

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高。