knn k的选取_KNN - 初窥K近邻算法

1>算法概述

KNN: 全名K-NearestNeighbor，K近邻算法，简单讲就是每个样本都可以用最接近的k个邻居表示，或者说共享同一个标签。KNN是一种分类(classification)算法，它输入基于实例的学习（instance-based learning），属于懒惰学习（lazy learning），也就是说没有学习过程，而是事先就已经准备好分类和特征值，可以直接对新样本进行处理分类。

如图所示，绿点为测试样本，我们需要判断它是属于红色标签还是蓝色标签（r/b）。如果k=1，r:b = 2:1，测试样本为红色；如果k=2，r:b=2:3，测试样本为蓝色; 如果k=3,r:b=6:5，测试样本为红色。很显然k的取值对样本影响重大，下文将提及k值选取。

2>算法流程

　　1）计算测试数据与各个训练数据之间的距离；

　　2）按照距离的递增关系进行排序；

　　3）选取距离最小的K个点；

　　4）确定前K个点所在类别的出现频率；

　　5）返回前K个点中出现频率最高的类别作为测试数据的预测分类</