算法(八)：图解KNN算法

算法简介

K最相邻算法(K-NearestNeighbor Classification Algorithm,KNN)是数据挖掘分类技术中最简单的方法之一,所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表。

KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN方法在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

  KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的K个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。

案例

这边的案例来自"算法图解"一书，来自书上的例子，只是为了对KNN算法有一个基础认识。

案例一

假设有一个水果(橙子或者柚子)， 如何判断它是橙子或者柚子呢？ 这时大脑思维过程一般类似:存在一个水果特征图表，假设个头越大、颜色越黄的就是柚子，如下图，然后会判断该神秘水果特征最接近橙子或者柚子，最接近的就是该水果的种类。

<