KNN算法

邻近算法

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。<来源百度，不看也罢>

少废话，看一下下图，手残党手绘的不要在意。现在有个*的形状是属于A类还是B类呢？

 

在这里采用简单的KNN算法进行判断，借用大家都容易理解的二维坐标系进行计算，之后大家可以自己推广到三维，1024维甚至N维。在平面中两点确定一条直线，两点间距离最短。所以我们的数据集是A类8个圆形点的坐标值以及B类8个菱形点的坐标值，还有一个未知类*的坐标值。然后采用欧氏距离<还有曼哈顿距离、余弦距离>公式计算*点到各类点的距离之和。

通过距离的平均值，谁小就认为*点是那个类。简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。有点像“物以类聚”，你的特征更像什么就会让你和什么类型的人在一起。拿我说吧，骨子里不爱学习也没有颜值，所以我喜欢和不爱学习的人以及长相一般的人在一起。毕竟我的儿子们颜值都是一般般的，不能和我这个父亲相比。好,现在假设计算之后得出*形点是B类,突然天上掉下个林妹妹。不对，是个三角形的点<后面叫它小三>。

就算我不去计算也知道三角形离圆形更近一点呀，不过小三旁边有个小*点，就因为这个小*拉高了B类的颜值，不对不对，是降低了小三离B类的欧氏距离平均值，最后计算出小三是B类了。所以这就看出了KNN算法存在的缺陷吧。

然后还要再说一下，上面的K值都是我自己选择了全部的数据个数，实际上K值是一个比较重要的参数，它表明你选择这个未知物最近的K个已知物。

 

如图，小星星的K值是12，选择12个离小星星最近的点，谁类别多就归谁。那样按理小星星是圆类但还是分到小三角类了。优化一下，除了K值中谁种类多少计算，还可以选择好K值，再用上面的距离来完善一下。不过上面也有错误呀，还好有人又优化了一下。将距离值按照权重再划分一下，里的近的计算出来平均距离会更小，远的会变大进而完善KNN分类算法。但是怎么优化都会有一些特例，要你是老司机，能在复杂的参数排序中选择一个很好的参数组，可以使得算法正确率达到99.9999......%

 

雪桐瞎说：

优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。

 

用处：①通过电影剧本的特别词来判断电影是喜剧，爱情剧，鬼片什么的；②改进约会网站的配对效果；③手写识别系统等等。

 

    先说说这个手写识别系统吧，每个txt文件都是通过大师手笔写的阿拉伯数字图片转化的32*32的数字文件，就是前面所提到的1024维。用1表示描绘到的，0表示没有描绘到。然后把它看成一个1024维的点，程序一开始先通过差不多1000txt文件进行数据集的训练建立0,1，2,3…的类，然后读取测试集里面的快1000个txt文件进行欧氏距离的计算和分类。握草，好可怕，计算量这么大的吗？？？算法需要为每个测试向量做2000次距离计算，每个距离计算包括了1024个维度浮点运算。此外，我们还需要为测试向量准备2MB的存储空间。是否存在一种算法减少存储空间和计算时间的开销呢？

你猜呀