Datawhale X 李宏毅苹果书 AI夏令营 Task3学习笔记

TASK3 《深度学习详解》- 2 机器学习框架&实践攻略

第三节课学习笔记

概念

• 数据增强： 根据问题的理解创造出新的数据。

课程内容

1. 模型偏差

   • 问题描述: 模型过于简单，无法有效降低损失。
   • 解决方法: 增加模型灵活性，例如增加输入特征或使用更复杂的模型（如深度学习模型）。

2. 优化问题

   • 问题描述: 优化算法可能会陷入局部最小值，导致模型损失较高。
   • 案例分析: 通过对比20层和56层的残差网络，讨论优化不当可能导致的高损失现象。
   • 解决方法: 先训练浅层或简单模型，确定损失低之后再尝试更复杂的模型。

3. 过拟合

   • 问题描述: 模型在训练集上表现很好，但在测试集上表现较差。
   • 原因: 模型过于灵活，无法在测试数据上泛化。
   • 解决方法:
     1. 增加训练数据: 通过数据增强等手段扩展训练集。
     2. 限制模型复杂性: 减少参数数量、使用卷积神经网络（CNN）等更有约束性的模型架构。
     3. 其他方法: 使用早停、正则化和丢弃法。

4. 交叉验证

   • 目的: 更合理地选择模型，避免在公开测试集上过拟合。
   • 方法: 将训练数据分为训练集和验证集，根据验证集的结果挑选模型。