[译]图像分类：数据驱动方法、K-最近邻、train/val/test分离 (1)

Image Classification图像分类

Motivation. 这一节我们将介绍图像分类的问题，也就是在一套固定的种类集中，给一副输入图像指定一个标签。这也是计算机视觉的一个核心问题，虽然它听起来很简单，却有着诸多实际应用。在本课程的后面，我们将看到许多其他的表面上看起来不同的计算机视觉任务（如目标检测、分割）都可以被简化为图像分类的问题。
Example. 举个例子，下图是一个图像分类模型，含有一张图片和4个可能指定的标签：猫、狗、帽子、杯子。如图所示，记住对于电脑来说，一张图片由一个大的3维数组表示。此例中，猫的图片宽为248像素，高为400像素，并且有3个颜色通道：红、绿、蓝（简写为RGB）。因此，该图像有248 x 400 x 3个数字，总共297,600个数字。每个数字是0 (黑)到 255 (白)之间的一个整数。我们的任务就是将这么多数字中的一部分转化成一个标签，比如“猫”。

图像分类的任务是为一张指定图片推测一个标签（或者是标签的可能性分配，来表示我们的把握）。图像都是由0到255之间的整数组成的3维数组，size为宽 x 高 x 3，3表示3个颜色通道：红、绿、蓝。

Challenges. 识别一个视觉概念（比如“猫”）的任务对人类来说是很平常的，我们需要从计算机视觉算法的角度考虑这其中会遇到的一些挑战。下面我们列出了一些挑战（不完全的），大家要熟记于心图像的原始表达是三维亮度值：
• 视角变化。单个物体的朝向有多种可能，由相机决定。
• 比例变化。视觉上的物体经常会显示出大小的不同（指在真实世界中的大小，不仅仅是它们在图像中占据的面积）。
• 变形。许多目标物不是刚体，会以各种方式变形。
• 遮挡。目标物可能被遮挡，有的时候只能看见一小部分。
• 照明条件。照明对像素水平的影响是剧烈的。
• 背景干扰。目标物可能会融入背景，难以分辨。
• 类间变化。目标类别可能包含甚广，比如椅子，这样的东西有许多不同的种类，每个都有自己的外形。
一个好的图像分类模型必须对所有这些变量的向量积保持不变，同时对类间变化保持敏感性。

Data-driven approach数据驱动方法。我们如何着手写一个能将图像分到不同种类的算法呢？这不像整理一串数字的算法，编写分辨图像中的猫的算法并不显而易见，我们采用的方法类似于你对待一个小孩的方法，让他们看一些例子，学习每个种类的视觉外表。这种方法被称为数据驱动方法，因为它依靠首先积累已标签过的图像的训练数据集。下面是数据集的一个简单例子：

四个视觉分类的训练集样例。实践中我们可能有数以千计的种类，每个种类中有数以百计的图像。
图像分类管线。我们看到图像分类的任务是处理代表图像的一串像素数组，并给其指定标签。完整的管线如下：
• 输入：我们的输入包含一套N张图像的集合，每张图像都被K个不同种类中的一个所标签。这样的数据我们叫做训练集。
• 学习：我们的任务是用训练集学习每一个类中的物体是什么样子的。这个步骤我们叫做训练一个分类器，或者叫做训练一个模型。
• 评测：最后我们评测分类器的质量，通过让它预测一系列没有见过的图像集的标签。我们将这些图像的真实标签和分类器预测的标签进行比对。直观地，我们希望许多的预测能够符合正确答案（我们称作ground truth）。

Nearest Neighbor Classifier（最近邻分类器，NN）

我们的第一个方法称作最近邻分类器。该分类器与卷积神经网络毫不相关，实际也很少应用，但可以让我们了解到图像分类问题的基本方法。
图像分类数据集样：CIFAR-10. CIFAR-10 dataset是一个普及的小图像分类数据集。该数据集由60,000张小图像组成，它们的高和宽都是32像素。每张图像被标签了10个类别中的1个（比如“飞机、汽车、鸟”）。这60,000张图像被分为两个集合，一个是含有50,000张图像的训练集，另一个是含有10,000张图像的测试集。下图你可以看到10个类别中的随机样例图片：

左: CIFAR-10 dataset中的样例图片。右:第一列显示了一小部分测试图片，旁边显示了根据像素见的对比差异，与其最邻近的10张图片。

假设现在我们有一个CIFAR-10的训练集，包含50,000张图像，我们希望标记另外的10,000张图像。最近邻分类器将拿着一张测试图像，与训练集中的所有图像逐一比对，并且预测最相近的训练图像的标签。上图的右边可以看到10张样例测试图像经历这样一个比对过程后的结果。注意10个样例中只有3个找到了同一类的图像，其他的7个则没有。比如，第8行中与马头的图像最相近的训练图像是一辆红色汽车，可能要归咎于明显的黑色背景。结果就是，马的图像可能会被误标签为“汽车”。
可能你注意到我们省略了如何比较两幅图像的细节，在此案例中涉及到的是两块32 x 32 x 3的数组。最简单的方式之一就是逐像素比较两幅图像，然后将它们的差累加起来。也就是说，用向量I1,I2分别代表给出的两幅图像，用L1 distance比较它们：

遍历像素求和。下面是过程的可视化：

用像素间的差异（L1 distance，此例中只有一个颜色通道）来比对两幅图像。 两幅图像的元素逐个相减，然后将差异累加起来得到一个数。如果两幅图像完全相同，那么结果为0。但是如果两幅图像非常不同，结果的数字则很大。

让我们看看这个分类器在代码中是如何执行的。首先，让我们将CIFAR-10数据加载到内存，以4个数组的形式：训练数据/标签、测试数据/标签。下面的代码中，Xtr（size为50,000 x 32 x 32 x 3）存储了训练集的所有图像，与其对应的一维数组Ytr（length为50,000）存储了训练集所有图像的标签（从0到9）：

Xtr, Ytr, Xte, Yte = load_CIFAR10('data/cifar10/') 
#将所有图像展平成一维数组
Xtr_rows = Xtr.reshape(Xtr.shape[0], 32 * 32 * 3) # Xtr_rows变成了50000 x 3072
Xte_rows = Xte.reshape(Xte.shape[0], 32 * 32 * 3) # Xte_rows 变成了10000 x 3072

现在所有图片都展开成行向量了，下面我们要训练并评测一个分类器：

nn = NearestNeighbor() # 创建一个最近邻分类器的类
nn.train(Xtr_rows, Ytr) # 用训练图像和标签训练分类器
Yte_predict = nn.predict(Xte_rows) # 预测测试图像的标签
# 输出分类准确率，也就是正确预测的平均样例数（标签吻合）
print 'accuracy: %f' % ( np.mean(Yte_predict == Yte) )

这里有一个评价标准，通常我们会用准确率 accuracy，代表了正确预测的部分。我们创建的所有分类器都满足一个API：它们有train(X,y)函数，处理需要学习的数据和标签。内部地，这个类应该建立关于标签的某种模型，解决如何从数据中预测标签。然后还有一个predict(X)函数，处理新的数据并预测标签。当然了，我们省略了事情的主要部分——分类器本身。下面是一个简单的运用L1 distance的最近邻分类器的实施方法：

import numpy as np

class NearestNeighbor(object):
  def __init__(self):
    pass

  def train(self, X, y):
    """ X 的size为 N x D，每一行都是一个样例. Y 是size为N的一维数组 """
    # 最近邻分类器只是记录所有的训练数据
    self.Xtr = X
    self.ytr = y

  def predict(self, X):
    """ X 的size为 N x D，每一行都是我们想要为之预测标签的样例 """
    num_test = X.shape[0]
    # 确认输出类型符合输入类型
    Ypred = np.zeros(num_test, dtype = self.ytr.dtype)

    #循环所有测试行
    for i in xrange(num_test):
      # 找到与第i张测试图像最近的训练图像
      # 运用 L1 distance (差的绝对值之和)
      distances = np.sum(np.abs(self.Xtr - X[i,:]), axis = 1)
      min_index = np.argmin(distances) # 得到最小距离的 index
      Ypred[i] = self.ytr[min_index] # 预测最近的样例的标签

    return Ypred

运行这段程序，你会发现该分类器在CIFAR-10只能达到 38.6%的准确率。虽然这比随机预测（10%的准确率）已经好很多，但远不及人类的表现（约94%的准确率）或者是当前最高水平的卷积神经网络（可达到95%）。
距离的选择。计算向量之间的距离还有许多其他方法。另一种常见方法是应用L2 distance，是两个向量之间欧几里得距离的几何解释。形式如下：

也就是说我们依旧计算像素与像素之间的距离，但是这次我们将它们都平方，然后相加，取平方根。数值计算中，我们只需要替换上面代码中的一行，也就是计算距离的那一行。

distances = np.sqrt(np.sum(np.square(self.Xtr - X[i,:]), axis = 1))

注意上面我们调用了np.sqrt，但是实际中我们省略平方根操作，因为平方根是一个单调函数。它会改变distance的绝对值大小，但是大小顺序是不会改变的，所以最近邻有没有它都是一样的。如果你用这个distance运行分类器，处理CIFAR-10，会得到35.4%的准确率（比L1 distance的结果稍低一点）

k - Nearest Neighbor Classifier （k最近邻分类器，k-NN）

可能你已经注意到为什么我们只用了最近的图像的标签来预测。确实，如果我们选择用k最近邻分类器之后结果能好很多。思路很简单：不同于只找到训练集中最近的图像，我们将找到k张最近的图像，然后让我们对测试图像的标签进行投票。当k=1的时候，我们就还原到了上述的最近邻分类器。直观地，越大的k值会有一个平滑的效果，能够让分类器避免异常值的干扰。

一个例子显示了NN与5-NN分类器之间的区别，运用2维点和3个类（红蓝绿）。有颜色的区域显示了分类器用L2 distance产生的决策边界（decision boundaries）。白色区域显示了含糊不清分类的点（至少有两个类对它的投票是相同的）。注意在NN分类器的情况下，异常数据点（比如夹在在一群蓝色点中间的绿色点）产生了一些小的孤立块，这可能是错误的预测，然而5-NN分类器平滑了这些异常，让测试数据更好地泛化了。同时注意在5-NN图像中，灰色的区域是由最近邻的投票相等而产生的（比如两个近邻是红色，两个近邻是蓝色，最后一个近邻是绿色）。

实际中，你可能会一直想用k-NN方法，但是k应该取什么值呢？接下来我们就探讨这个问题。