K近邻算法

K 最近邻 (k-Nearest Neighbor，KNN) 分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一，1968年由 Cover 和 Hart 提出。

算法过程：

假设特征空间为1，类别为 2，如下图所示，分别有两类蓝色和红色，问绿色为哪一类？

若取 K= 3 ，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
若 取K=5，绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。

假设特征空间为多数时，对于每个特征进行如上判定，少数服从多数原则，判定数据类别