KNN算法笔记

1、KNN介绍 

KNN (K-Nearest Neighbor）算法，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢?其实啊，KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属于哪个类别。

2、KNN实现步骤

2.1计算距离（欧几里得距离或者马氏距离） 

2.2 升序排列

2.3 取前K个

 

2.4加权平均

 实例（采用python语言）

从训练样本中得到K个与测试最相似的样本

​ ①计算测试数据与各个训练数据之间的距离；
​ ②按照距离的递增关系进行排序；
​ ③选取距离最小的K个点；
​ ④确定前K个点所在类别的出现频率；
​ ⑤返回前K个点中出现频率最高的类别作为测试数据的预测分类。