计算机视觉——KNN算法（k近邻）

一、KNN算法是什么？

k近邻算法是一种基本分类和回归方法。

简单来说，k近邻原理表示为，在给定一个训练集中，输入一个新数据，然后找寻新的输入实例在训练集中最邻近的k个实例。这个k个实例的多数属于某个类，就把该输入实例分类到这个类中。

示例：假设给定训练集包含三角类、圆类。图中五角星为新输入数据。在上述情况下，如果将k设置为4，从下图我们可以看出，临近新输入数据的四个实例中，其中三个为三角类。因此，新输入数据将被划分为三角类。

二、K值如何选择？

k值选取过小容易出现过拟合现象，而k值选取较大则会忽略大量有用信息，两者都不可取。李航博士书上讲到，一般选取一个较小的数值，通常采取交叉验证法来选取最优的k值。（选取k值很重要的关键是实验调参，通过调整超参数来得到一个较好的结果）

三、”最邻近“距离如何度量？

如何度量距离也是k近邻入需要重点讨论的问题之一，一般有以下集中度量方法

在这之中我们比较常用的是欧式距离及曼哈顿距离。

欧氏距离 (Euclidean Disrance)——L2距离

欧氏距离是我们在上学期间学习的最为常见的距离计算方式。

二维坐标系关系，如图所示：

公式：

曼哈顿距离（Manhattan Distance)——L1距离：

曼哈顿距离也称为城市街区距离(City Block distance)，也就是在欧几里得空间的固定直角坐标系上两点所形成的线段对轴产生的投影的距离总和。

曼哈顿距离其实就相当于两点在各个坐标轴上的投影距离之和。

如下图所示：

其中，绿线表示欧式距离，红、蓝、黄表示相等的曼哈顿距离。

公式：

四、Python实现

L1距离很简单，就是矩阵I1和矩阵I2每个元素（aij） 相减的绝对值，这一点CS231中给出了很明确的计算：

def L1(X):
  # determin dimensions of data matrix
  m,n = X.shape
  # initialize squared  D
  D = np.zeros([m, n])
  # iterate over upper triangle of D
  for i in range(m):
    for j in range(n):
      D[i,j] = X_test[i][j]-X_train[i][j]
      
b = np.fabs(D)
c = np.sum(b)

return c

L2距离

L2理解很简单就是运用了欧式距离，可以参考L1进行理解

def L2(X):
  # determin dimensions of data matrix
  m,n = X.shape
  # initialize squared  D
  D = np.zeros([m, n])
  # iterate over upper triangle of D
  for i in range(m):
    for j in range(n):
      D = X_test[i][j]-X_train[i][j]

b = np.square(D)
c = np.sum(b)
e = np.sqrt(c)

return c

五、特征归一化的必要性

应该让每个特征都是同等重要的！这也是我们要归一化的原因！归一化公式如下：

六、缺陷

但是很不幸的是，KNN在图像问题中几乎不会使用，这个观点来源于斯坦福CS231n。

原因有两个：

1.很差的测试效率；

2.整个图像水平的距离度量可能非常不直观。

第一个问题是KNN算法的硬伤，在机器学习中其实我们对测试阶段的时间容忍要远远高于训练阶段，因为最终使用模型解决问题时足够快就可以了，CNN普遍是这样。但是这个问题在KNN中就会无限的暴露出来，“在线”学习的方式决定了样本量越大，分类过程就会越慢。

七、案例测试

ing...

八、总结

ing...

本文仅为个人归纳总结，原文详见以下内容：

1. 一文搞懂k近邻（k-NN）算法（一） - 知乎 (zhihu.com)

2. 数据挖掘入门系列教程（二点五）之K-近邻算法和距离度量介绍 - 段小辉 - 博客园 (cnblogs.com)

3. 距离及相似度度量方法_lp距离公式p是什么_狮子座明仔的博客-程序员秘密 - 程序员秘密 (cxymm.net)

4. (133条消息) KNN(临近算法k-NearestNeighbo) L1 和 L2距离计算_l2距离公式_先吃饭再写作业的小明的博客-CSDN博客

5. (133条消息) 学习KNN（一） 图像分类与KNN原理_knn图_zxucver的博客-CSDN博客

6. 计算机视觉学习笔记（2.1）-KNN算法中距离矩阵的计算 - 知乎 (zhihu.com)

7. (133条消息) 机器学习——K-近邻算法（算法原理+分析+实验结果）_k近邻算法原理_weixin_46120403的博客-CSDN博客