【Datawhale X 李宏毅苹果书 AI夏令营】深度学习详解1.3

1 模型偏差

• 定义：模型过于简单，无法捕捉数据的真实关系。
• 问题：即使找到最优参数，模型的损失仍然较高。
• 解决方法：
  • 增加输入特征，如从使用前一天的信息增加到56天前的信息。
  • 使用深度学习，增加模型的灵活性和复杂度。

2 优化问题

• 定义：梯度下降等优化算法可能无法找到全局最小值，而是停留在局部最小值。
• 问题：模型在训练集上的损失无法降低到理想水平。
• 判断方法：通过比较不同复杂度的模型在训练集上的表现。
  • 如果简单模型表现好，复杂模型表现差，可能是优化问题。
• 解决方法：
  • 尝试不同的优化算法。
  • 使用更好的初始化方法。
  • 调整学习率和其他超参数。

3 过拟合

• 定义：模型在训练集上表现良好，但在测试集上表现差。
• 原因：模型过于复杂，学习了训练数据中的噪声。
• 解决方法：
  • 增加训练数据的数量。
  • 进行数据增强，如图像翻转、裁剪等。
  • 限制模型复杂度，如减少层数或神经元数量。
  • 使用正则化技术，如L1、L2正则化。
  • 应用丢弃法（dropout）。

4 交叉验证

• 定义：一种评估模型泛化能力的方法。
• k 折交叉验证：
  • 训练集分为k个子集。
  • 每次使用k-1个子集作为训练集，剩下的一个作为验证集。
  • 重复k次，每次选择不同的子集作为验证集。
• 目的：减少模型选择的偏差，提高模型的泛化能力。

5 不匹配

• 定义：训练集和测试集的数据分布不一致。
• 问题：即使模型在训练集上表现良好，也无法保证在测试集上有好的表现。
• 解决方法：
  • 理解数据的来源和分布，确保训练集和测试集的一致性。
  • 如果可能，使用来自同一分布的数据进行训练和测试。