一图概括TASK3
就是当我们训练模型的时候怎么样把loss调得合适些,也就是教我们如何优化自己的模型。接下来简单讲述一下我的理解。
模型偏差
- 定义: 当模型过于简单时,无法捕捉数据中的复杂模式。例如,假设模型是一个简单的线性函数,而实际上数据间的关系是非线性的。
- 解决方案: 提高模型的灵活性。可以通过增加输入特征、使用更复杂的模型(如深度学习模型)来实现。
优化问题
- 定义: 即使模型具有足够的灵活性,也可能因为优化算法的问题而无法找到最佳参数。例如,使用梯度下降法可能会陷入局部最优解。
- 案例: 在残差网络(ResNet)的研究中,56层的网络理论上比20层的网络更加灵活,但实际训练结果显示56层网络的损失高于20层网络。这是因为优化算法未能找到较好的参数配置,而非模型本身的问题。
- 解决方案: 使用其他优化策略以改善梯度下降的表现。
过拟合
- 定义: 模型在训练数据上表现很好,但在新数据(测试数据)上的表现较差。这是因为模型过于复杂,以至于学习到了训练数据中的噪声。
- 解决方案:
- 增加训练数据:更多的数据可以帮助模型更好地学习数据的通用特征。
- 数据增强:通过对现有数据进行变换(如图像翻转、旋转)来创建新数据,以增加数据的多样性。
- 限制模型复杂度:减少模型参数的数量、使用更简单的模型结构(如卷积神经网络而不是全连接网络)、减少输入特征等。
- 正则化:在损失函数中加入惩罚项以控制模型的复杂度。
- 早停:在验证集上的性能开始恶化时停止训练,以防止过拟合。
交叉验证
- 目的: 用于合理地选择模型。将数据分为训练集和验证集,使用验证集评估模型性能。
- 方法: 可以使用k折交叉验证来避免单一验证集的随机性问题,从而获得更稳定的模型性能估计。
- 注意事项: 避免根据公开测试集反复调整模型,以防在私人测试集上表现不佳。
不匹配问题
- 定义: 训练集和测试集的数据分布不一致导致的误差。增加训练数据并不能解决此类问题。
- 案例: 使用2020年的数据作为训练集,2021年的数据作为测试集时,由于两年间的环境变化,可能导致模型预测严重偏离实际情况。
- 解决方法 :哪个好用用哪个
嘤嘤嘤,希望我的笔记能对你学习深度学习带来帮助❤。