kNN（k-NearestNeighbor，K最近邻）分类算法

作为最简单又硬核的分类算法，kNN常常是我们小白们接触deep learning的第一步
所谓kNN，简单来讲就是最靠近该类的K个“邻居”（neighbor），图片来理解就是
图中可以清楚看出K=5
而在特殊例子中，即K取1时，我们可以简单得推导出kNN算法将距离测试数据最近的“邻居”的类判断为测试数据的类。犹如我前面所说的，非常简单又硬核对不对？
如何定义“最近”呢？ 在很多时候我们是用欧式距离来计算的，所谓欧式距离其实就是两点间的距离计算公式，在我们初中就已经学过了，下图来源百度百科
最后，在最近的K个数据中寻找数量最多的那一类，我们就判断那一类就是我们测试数据的类。
整个过程非常简单明了，但是我们得思考一下，这个算法的缺点是什么？
1.每一次测试，我们必须要和所有数据进行比较，最后再排序得出最近的K个值，虽然没有训练过程，但是测试时间极其缓慢。
2.所有的数据的种类我们都要用标签记录，空间占用较大。
3.准确度低下。

虽然问题2可以采用哈夫曼树来进行数据的压缩处理，但是1、3对于简单粗暴的kNN来说还真的没有什么好的处理办法。