“Datawhale X 李宏毅苹果书 AI夏令营”深度学习-第二章 实践方法论

• 模型偏差：

  • 定义：模型过于简单，函数集合太小，无法包含使损失变低的函数，导致模型在训练集上表现不佳。
  • 解决方法：增加模型的灵活性，如增加输入特征、使用深度学习、设更大的模型等。

• 优化问题：

  • 问题表现：梯度下降等优化方法可能卡在局部最小值，无法找到使损失很低的参数，导致模型在训练集上的损失不够低。
  • 判断方法：通过比较不同的模型来判断，先训练一些比较浅的、简单的模型，了解它们的损失情况，再与深的模型进行比较。如果深的模型灵活性大但损失无法比浅的模型压得更低，则代表优化有问题。
  • 建议：面对新问题，先跑比较小、浅的网络或用非深度学习方法，如线性模型、支持向量机等，它们较容易做优化，不容易出现优化失败的问题。

• 过拟合：

  • 原因：模型的灵活性过大，在训练集上表现好，但在测试集上损失大。
  • 解决方法：
    • 增加训练集：通过数据增强，根据问题理解创造新数据，但要选择合适的数据增强方式。
    • 给模型一些限制：减少模型参数、使用较少特征、采用早停、正则化和丢弃法等方法。
  • 注意事项：模型的复杂程度要适中，太复杂会过拟合，太简单会有模型偏差的问题。不能根据公开测试集来选择模型，因为可能会在私人测试集上得到很差的结果。

• 交叉验证：

  • 方法：把训练数据分成训练集和验证集，用验证集来衡量模型的分数并挑选结果。为避免随机分验证集导致结果差，可采用 k 折交叉验证，将训练集切成 k 等份，重复进行训练和验证，最后平均每个模型在不同情况下的结果，选择最好的模型。

• 不匹配：

  • 定义：训练集和测试集的分布不同，导致模型在测试集上表现不佳，增加数据也无法解决。
  • 解决方法：需要对训练集和测试集的产生方式有一些理解，判断是否遇到不匹配的情况。