K近邻算法（K-Nearest Neighbor）

最近在做一个简单的图像分类，对精度什么都没有要求，只不过是小小的跑下实验。想了想，就把这个K近邻的算法写一写。这里没有去详细的推导，只是基础知识。基础知识掌握了才能有所发展。

K近邻算法（KNN）

第一、K近邻算法非常的简单粗暴；

第二、假设已经有了一大堆数据，这一大堆数据是已经知道具体分类类别的。比如说，这一堆数据分为5个类；

第三、突然之间来了一个新的数据（测试数据），它想知道自己属于那个类，怎么办呢。拿这个数据跟之前所有的已知分类的一堆数据中的每一个做比较，例如用欧式距离，记录下这些数据。

第四、把所有这些距离的结果做一个排序，从小到大排序，同时保留类别信息。

第五、这里就要用到K值了，把排好序的这些距离数据，去前K个值，那么，统计这些距离中，每个类有几个数据。就是说，取第一个距离值，如果是测试数据与某个类的距离值，那么对应类的个数加1；以此类推。

第六、找到这5个类中个数最多的那个，就把测试数据分到那个类中。

很明显，KNN算法很不精确，而且，当数据量很大的时候计算量也是很大的。而且，分类的结果也依赖于K值的选择。