KNN算法

俗话说物以类聚，人以群分，一个人取得什么样的成就，基本就是身边最近的5个朋友的平均水平。这个就是KNN的算法思路。

一个最简单的学习算法：小朋友看到一只狗狗的时候怎么认定它是一直狗呢？因为它和其他狗很像。KNN思路上就是看要分析的数据，其各项特征和哪些已知事物的各项特征最接近，那就认定是和这些相似的已知事物是相同的种类。比如我们把人的身高和体重做个采样，分出瘦高个和矮胖子两大类来。

K近邻(k-Nearest Neighbor，KNN)分类算法：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，采用测量不同特征值之间的距离方法进行分类，这里距离一般使用欧氏距离或曼哈顿距离。

优点：精度高，对异常值不敏感，无数据输入假定。

缺点：计算复杂度高、空间复杂度高。 我们要判别绿色的圆属于哪一类，从它的邻居下手，

其算法的描述为： 1）计算测试数据与各个训练数据之间的距离； 2）按照距离的递增关系进行排序； 3）选取距离最小的K个点； 4）确定前K个点所在类别的出现频率； 5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

例子：下图中，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。