图像分类基本流程及 KNN 分类器

  本文主要内容为 CS231n 课程的学习笔记，主要参考 学习视频 和对应的 课程笔记翻译 ,感谢各位前辈对于深度学习的辛苦付出。在这里我主要记录下自己觉得重要的内容以及一些相关的想法，希望能与大家多多交流~

1. 图像分类以及基本流程

1.1 什么是图像分类

  所谓图像分类问题，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。虽然看起来挺简单的，但这可是计算机视觉领域的核心问题之一,计算机视觉领域中很多看似不同的问题（比如物体检测和分割），都可以被归结为图像分类问题。

1.2 图像分类的挑战

  物体分类与检测的难点与挑战在本文中分为３个层次：实例层次、类别 层次和语义层次，如图 1 所示 [1]

图 1 .物体分类与检测研究存在的困难与挑战

  (1) 实例层次。针对单个物体实例而言，通常于图像采集过程中、光照条件、拍摄视角、距离的不同而造成的尺寸变化、物体自身的非刚体形变以及其他物体的部分遮挡，使得物体实例的表观特征产生很大的变化，给视觉识别算法带来了极大的困难

  (2) 类别层次。困难与挑战通常来自３个方面，首先是类内差大，也即属于同一类的物体表观特征差别比较大，其原因有前面提到的各种实例层次的变化，但这里更强调的是类内不同实例的差别，例如图2 (a) 所示，同样是椅子，外观却是千差万别，而从语义上来讲，具有“坐”的功能的器具都可以称为椅子；其次是类间模糊性，即不同类的物体实例具有一定的相似性，如图2 (b)所示，左边的是一只狼，右边的是一只哈士奇，但我们从外观上却很难分开二者；再次是背景的干扰，在实际场景下，物体不可能出现在一个非常干净的背景下，往往相反，背景可能是非常复杂的、对我们感兴趣的物体存在干扰的，这使得识别问题的难度大大增加。

  (3) 语义层次。困难和挑战与图像的视觉语义相关，这个层次的困难往往非常难处理，特别是对现在的计算机视觉理论水平而言，一个典型的问题称为多重稳定性。如图３所示，图３(c) 左边既可以看成是两个面对面的人，也可以看成是一个燃烧的蜡烛；右边则同时可以解释为兔子或者小鸭。同样的图像，不同的解释，这既与人的观察视角、关注点等物理条件有关，也与人的性格、经历等有关，而这恰恰是视觉识别系统难以处理的部分。

图 2 .分类与检测存在挑战的例子

1.3 图像分类的基本流程

  在机器学习中常常采用基于数据驱动的方法进行图像分类。所谓基于数据驱动的方法，就是给计算机很多数据，然后实现学习算法，让计算机学习到每个类的外形的方法。基于这种方法的完整流程如下

  (1) 输入：输入是包含 N 个图像的集合，每个图像的标签是 K 种分类标签中的一种。这个集合称为训练集。

  (2) 学习：这一步的任务是使用训练集来学习每个类到底长什么样。一般该步骤叫做训练分类器或者学习一个模型。

  (3) 评价：让分类器来预测它未曾见过的图像的分类标签，并以此来评价分类器的质量。我们会把分类器预测的标签和图像真正的分类标签对比。毫无疑问，分类器预测的分类标签和图像真正的分类标签如果一致，那就是好事，这样的情况越多越好。

2. K - Nearest Neighbor分类器

2.1 Nearest Neighbor分类器

  它的原理是拿着测试图片和训练集中每一张图片去比较，然后将它认为最相似的那个训练集图片的标签赋给这张测试图片。在 CIFAR­10 中，就是比较 32x32x3 的像素块。最简单的方法就是逐个像素比较，最后将差异值全部加起来。换句话说，就是将两张图片先转化为两个向量 和 ，然后计算他们的 L1 距离：

d1(I