How transferable are features in deep neural networks? 论文笔记

0 摘要

    在自然图像上训练的深度神经网络都表现出一种奇怪的现象：模型第一层的参数和Gabor filters的参数非常相似（也就是说模型拥有经典图像算法中具有的优秀性质，Gabor filter是比较通用的滤波器，也就是说模型在一开始也要完成一些常规模式的计算过程，这一点和经典图像算法是一样的）。第一层的特征并不是特定于某一数据集或者某一任务，而是通用的特征，它们适用于许多数据集和普遍的任务。在较深的模型层，特征会从通用的特征逐渐转换为更专业的特征（和任务、数据集紧密相关的特征），这种转换目前尚未有广泛的研究（先用成熟通用的模式解决，随着问题的深入，再加入一些与问题紧密相关的方法，来更好地完成一件事）。本文，我们通过实验量化深度神经网络每层神经元的通用性与特殊性，并展示一些令人惊讶的结果。

1 介绍

    现代深度神经网络都表现出一个有趣的现象：模型第一层的参数和Gabor filters的参数非常相似。这些过滤器的看起来非常通用。 这种现象不仅发生在不同的数据集中，甚至还包括不同的训练任务中，包括监督图像分类，无监督密度学习，以及无监督学习稀疏表示。
    无论损失函数和图像数据集如何变化，在第一层上发现这些标准特征似乎都会存在，因此，我们称第一层特征是通用的。 另一方面，网络最后一层上计算的特征在很大程度上依赖于所选择的数据集和特定的任务，因此，我们称最后一层特征是特定的。 例如，在已成功训练的，以分类为目标的N维softmax输出层的网络中，每个输出单元将特定于特定类。 这就是一般特征和具体特征的直观概念，我们将在下面提供更严格的定义。 如果第一层特征是通用的，而最后一层特征是具体的，那么在网络中的某个位置一定会发生从一般特征到具体特征的转换。 这会有如下的问题：
1. 我们可以量化模型的某一层的特征到底是通用的还是具体的吗？
2. 转换是在某一层上突然发生，还是在几层上展开？
3. 这种转换发生在网络的什么地方：网络顶端，网络中间，还是网络底端？
    我们对这些问题的答案非常感兴趣，因为，如果网络中的特征是通用的，我们能够将它们用于迁移学习。 在迁移学习中，我们首先在基础数据集上训练一个基础网络，然后我们将学习到的特征重新调整，迁移到第二个目标网络，在目标数据集上进行训练。 如果特征是通用的，这意味着此做法将起作用，第二个目标网络会取得不错的效果。（迁移学习：以模型为媒介，将在一个领域中学到的知识应用到另一个领域上，如果两个领域的共性比较大，那么迁移学习的效果会比较好。如果一个网络层比较通用，那么迁移到一个新的问题上也会比较好用。）
    当目标数据集明显小于基础数据集时，迁移学习可以成为一种强大的工具，可以在不过拟合的情况下训练大型目标网络。
    通常，迁移学习的方法是首先训练基础网络，然后将其前n层的参数复制到目标网络的前n层中。然后，目标网络中剩余的层进行随机初始化，并针对目标任务进行训练。这里有两种选择：a）在目标任务中对目标网络所有的参数进行微调；b）将迁移过来的参数固定，在训练期间不发生更改，仅仅对随机初始化的参数进行训练。是否需要微调目标网络前n层的参数取决于目标数据集的大小和前n层中的参数数量。如果目标数据集很小且参数数量很大，那么微调可能会导致过拟合，因此前n层的这些参数通常会被固定。如果目标数据集很大或参数数量很少，那么过拟合不是问题，可以微调网络的所有参数到新任务上，以提高性能。当然，如果目标数据集非常大，则几乎不需要迁移学习，因为可以在目标数据集上从头开始学习低层次的特征。我们将在以下部分中比较这两种技术：对所有参数（包括前n层的参数）进行微调和固定前n层的参数不变。
    本文的贡献如下：
4. 我们定义了一种方法来衡量某一层是通用的或具体的程度，即该层的特征