深度学习实用方法 - 默认的基准模型篇

序言

在深度学习的广阔领域中，选择合适的基准模型是项目成功的关键一步。深度学习模型的选择不仅取决于问题的复杂性，还深受数据结构、任务类型及领域特性的影响。从简单的统计模型如逻辑回归到复杂的深度学习架构，每一步选择都需精心考量。本文将简要概述深度学习中默认的基准模型，旨在为读者提供一个清晰的起点，以便在面对不同问题时能够迅速定位并选用最合适的模型。

默认的基准模型

• 确定性能度量和目标后，任何实际应用的下一步是尽快建立一个合理的端到端的系统。
• 本篇给出了一些建议，在不同情况下使用哪种算法作为第一个基准方法。我们提供了关于不同情况下使用哪种算法作为第一基准方法的建议。值得注意的是，深度学习研究进展迅速，所以本书出版后很快可能会有更好的默认算法。
• 根据问题的复杂性，项目开始时可能无需使用深度学习。如果可以只需正确选择几个线性权重来解决问题，那么项目可以开始于一个简单的统计模型，如逻辑回归。
• 如果问题属于 “$\text{AI}$-完成’’ 类的，如对象识别，语音识别，机器翻译，等等，那么项目开始于一个合适的深度学习模型，效果会比较好。
• 首先，根据数据的结构选择一类合适的模型。
  • 如果项目是以固定大小的向量作为输入的监督学习，那么可以使用全连接的前馈网络。
  • 如果输入有已知的拓扑结构（例如，输入是图像），那么可以使用卷积网络。
  • 在这些情况下，刚开始可以使用某种逐点线性单元（$\text{ReLU}$或者其扩展，如$\text{Leaky ReLU}$，$\text{PReLU}$和$\text{maxout}$）。
  • 如果输入或输出是一个序列，可以使用门控循环网络（$\text{LSTM}$或$\text{GRU}$）。
• 具有衰减学习率动量的$\text{SGD}$是一个合理的优化算法选择（流行的衰减方法有，衰减到固定最低学习率的线性衰减，指数衰减，或每次发生验证错误高原时降低学习率 $2-10$ 倍，这些衰减方法在不同问题上好坏不一）。另一个非常合理的选择是$\text{Adam}$算法。 $\text{batch normalization}$对优化性能有着显著的影响，特别是对卷积网络和具有$\text{sigmoid}$非线性函数的网络而言。虽然在最初的基准中忽略$\text{batch normalization}$是合理的，然而当优化似乎出现问题时，应该立刻使用$\text{batch normalization}$。
• 除非训练集包含数千万以上的样本，否则项目应该在一开始就包含一些简单的正则化。 提前终止也应该普遍采用。 $\text{Dropout}$也是一个很容易实现，且兼容很多模型和训练算法的良好正则化项。 $\text{batch normalization}$有时也能降低泛化误差，并且因为标准化每个变量的统计估计而带来的噪扰，可以省略$\text{Dropout}$。
• 如果我们的任务和另一个被广泛研究的任务很相似，那么通过复制先前研究中已知性能良好的模型和算法，可能会得到很好的效果。甚至可以从该任务中复制一个训练好的模型。例如，通常会使用 $\text{ImageNet}$ 上训练好的卷积网络的特征来解决其他计算机视觉问题 ($\text{Girshick et al., 2015}$)。
• 一个常见问题是项目开始时是否使用无监督学习，我们将在后续篇章进一步探讨这个问题。
  • 这个问题和特定领域有关。在某些领域，比如自然语言处理，能够在很大程度上受益于无监督学习技术，如学习无监督词嵌入。
  • 在其他领域，如计算机视觉，除非是在半监督的设定下（有标签的样本数量很少） ($\text{Kingma et al., 2014; Rasmus et al., 2015}$)，目前无监督学习并没有带来益处。
  • 如果应用所在环境中，无监督学习被认为是很重要的，那么将其包含在第一个端到端的基准中。否则，只有在解决无监督问题时，才第一次尝试就使用无监督学习。我们总能在之后发现初始基准过拟合的时候，加入无监督学习。

基准模型的定义

基准模型（$\text{Benchmark Model}$）通常是指在某一特定任务或数据集上表现良好，并被广泛接受作为性能评估标准的模型。它可以是简单的统计模型，如逻辑回归，也可以是复杂的深度学习模型，如卷积神经网络（$\text{CNN}$）或循环神经网络（$\text{RNN}$）。

选择默认基准模型的原则

• 问题复杂性：
  • 对于简单问题，如线性可分的数据集，可以选择线性回归或逻辑回归等简单统计模型作为基准。
  • 对于复杂问题，如图像识别、语音识别等，通常需要选择深度学习模型作为基准，因为它们能够捕获数据中的复杂模式。
• 数据结构：
  • 如果输入数据是固定大小的向量，可以选择全连接的前馈网络。
  • 如果输入数据具有已知的拓扑结构（如图像），则卷积网络（$\text{CNN}$）是更好的选择。
  • 对于序列数据（如文本或时间序列），可以选择循环神经网络（$\text{RNN}$）或其变种（如$\text{LSTM}$、$\text{GRU}$）。
• 性能要求：
  • 在追求高精度时，可能需要选择更复杂、参数更多的模型。
  • 在资源受限的情况下（如计算资源有限、实时性要求高），则需要选择更轻量级的模型。
• 先前研究：
  • 如果当前任务与先前研究中的任务相似，可以复制先前研究中已知性能良好的模型和算法作为基准。
  • 通过迁移学习，可以使用在相关任务上预训练的模型作为起点，进一步调整以适应当前任务。

常见的默认基准模型

• 图像识别：
  • 在图像识别领域，常见的默认基准模型包括$\text{AlexNet}$、$\text{VGG}$、$\text{ResNet}$等卷积神经网络。
• 语音识别：
  • 在语音识别领域，深度学习模型如循环神经网络（$\text{RNN}$）及其变种（$\text{LSTM}$、$\text{GRU}$）被广泛用作基准模型。
• 自然语言处理：
  • 在自然语言处理领域，$\text{Transformer}$及其变种（如$\text{BERT}$、$\text{GPT}$）已成为许多任务的默认基准模型。

总结

• 深度学习中的默认基准模型多种多样，其选择需基于问题的具体需求和数据特性。
  • 对于简单问题，如可通过线性权重解决的情况，逻辑回归等统计模型即可满足需求。
  • 而对于复杂问题，如对象识别、语音识别等“$\text{AI}$-完全”类型任务，则需采用深度学习模型，如卷积网络（$\text{CNN}$）用于图像处理，循环神经网络（$\text{RNN}$）及其变体$\text{LSTM}$、$\text{GRU}$用于序列数据处理。
• 此外，$\text{Transformer}$模型因其在自然语言处理领域的卓越表现，也成为处理序列数据的标准架构之一。在模型优化方面，选择合适的优化算法（如$\text{SGD}$、$\text{Adam}$）和正则化策略（如$\text{Dropout}$、$\text{batch normalization}$）同样重要。
• 总之，深度学习的基准模型选择需综合考虑多种因素，以达到最佳效果。