knn算法

knn，即k近邻法（k-nearest neighbor，k-NN）是一种基本的分类和回归方法，是监督学习方法里的一种常用方法。在给定的数据集里，选定合适的大小范围，可以很好地分类两类数据。

kNN的完整实现
1）确定K的大小和距离计算方法 

距离计算方法：二维：

2）从训练样本中得到K个与测试最相似的样本

​ ①计算测试数据与各个训练数据之间的距离；
​ ②按照距离的递增关系进行排序；
​ ③选取距离最小的K个点；
​ ④确定前K个点所在类别的出现频率；
​ ⑤返回前K个点中出现频率最高的类别作为测试数据的预测分类。