非常简单！一文让你秒懂k最近邻算法

分类是人类时时刻刻在做的事情，比如我们收拾孩子的玩具的时候，需要辨认哪个是“玩沙子套装”的成员、哪些是图书，然后分类存放。

一些比较懒的人，希望让生活中尽量多的事情自动化。比如一个哥们，构建了一个分类装置，将两吨的乐高积木按照颜色、形状做了分类。分类装置的核心是一个训练好的神经网络。分类算法在生产和生活里的用处不止于此。

神经网络挺好的，本文介绍一下k最近邻算法（k-Nearest neighbor,kNN）。kNN是我确信自己学明白的第一个分类算法，它非常简单。

1kNN分类算法简介

1.1kNN分类算法的思想

kNN算法认为，具体的事物之间存在一定的相似性。举个例子，假设我和一只大熊猫的相似度是s1，我和赵本山的相似度是s2。除非大家抬杠，综合身高体重毛发等等特征，我和本山大叔显然更相似，即 s1< s2。

kNN算法认为，如果一个待分类样本，与类别（假设是A类）的代表性样本最像，相似程度超过了其他类别的代表性样本，那么，我们可以判定待分类样本的类别为A。

当然，实际操作的时候，我们用“距离”的远近来表示相似程度的大小：距离越远，相似度越低；距离越近，相似度越高。

1.2kNN算法的最简单形态-NN算法

假设我们要将10000个生物分为(人类，动物)两类，如果用最近邻算法(Nearest neighbor, NN)来完成这个任务，步骤是：

（1）请专家挑选1个人类(A类)， 1个动物(B类)；

（2）对于第i个生物，我们计算它与那个人类的距离，以及它与那个动物的距离，然后看那个距离更小，对应的类别就是这个生物的类别;

（3）重复(2)步，直到对所有生物分类完毕。

前面我们用纯语言的方式描述这个算法，对一些人比较合适，接下来用图形介绍一下，如图1-1。分类器会计算我离赵本山更近一点，还是离大熊猫更近一点，然后以离我更近的赵本山的类别，作为我的类别。

有的人看图学得快，有的人看文字学得快，有的人看公式学得快，大家平时可以注意一下哪种是最适合的。后面我们会有公式。