Datawhale X 李宏毅苹果书 AI夏令营TASK3学习笔记

一图概括TASK3

就是当我们训练模型的时候怎么样把loss调得合适些，也就是教我们如何优化自己的模型。接下来简单讲述一下我的理解。

模型偏差

• 定义: 当模型过于简单时，无法捕捉数据中的复杂模式。例如，假设模型是一个简单的线性函数，而实际上数据间的关系是非线性的。
• 解决方案: 提高模型的灵活性。可以通过增加输入特征、使用更复杂的模型（如深度学习模型）来实现。

优化问题

• 定义: 即使模型具有足够的灵活性，也可能因为优化算法的问题而无法找到最佳参数。例如，使用梯度下降法可能会陷入局部最优解。
• 案例: 在残差网络（ResNet）的研究中，56层的网络理论上比20层的网络更加灵活，但实际训练结果显示56层网络的损失高于20层网络。这是因为优化算法未能找到较好的参数配置，而非模型本身的问题。
• 解决方案: 使用其他优化策略以改善梯度下降的表现。

过拟合

• 定义: 模型在训练数据上表现很好，但在新数据（测试数据）上的表现较差。这是因为模型过于复杂，以至于学习到了训练数据中的噪声。
• 解决方案:
  • 增加训练数据：更多的数据可以帮助模型更好地学习数据的通用特征。
  • 数据增强：通过对现有数据进行变换（如图像翻转、旋转）来创建新数据，以增加数据的多样性。
  • 限制模型复杂度：减少模型参数的数量、使用更简单的模型结构（如卷积神经网络而不是全连接网络）、减少输入特征等。
  • 正则化：在损失函数中加入惩罚项以控制模型的复杂度。
  • 早停：在验证集上的性能开始恶化时停止训练，以防止过拟合。

交叉验证

• 目的: 用于合理地选择模型。将数据分为训练集和验证集，使用验证集评估模型性能。
• 方法: 可以使用k折交叉验证来避免单一验证集的随机性问题，从而获得更稳定的模型性能估计。
• 注意事项: 避免根据公开测试集反复调整模型，以防在私人测试集上表现不佳。

不匹配问题

• 定义: 训练集和测试集的数据分布不一致导致的误差。增加训练数据并不能解决此类问题。
• 案例: 使用2020年的数据作为训练集，2021年的数据作为测试集时，由于两年间的环境变化，可能导致模型预测严重偏离实际情况。
• 解决方法 ：哪个好用用哪个

嘤嘤嘤，希望我的笔记能对你学习深度学习带来帮助❤。