实践方法
检查训练数据损失确保模型在训练数据上有良好的表现,再评估测试数据结果。
模型偏差模型过于简单:函数的集合过于简单,导致无法捕捉数据的复杂性,目标的函数不在这个函数集合里
解决方案:增加模型灵活性(如增加输入特征(例如笔记一中的视频播放量的预测问题,可以增加之前的关于播放量的数据等特征)、使用深度学习等)。
优化问题
梯度下降等优化算法可能卡在局部最小值,找不到全局最小值
解决方案:尝试不同优化算法,或调整学习率等参数。
过拟合
过拟合现象模型在训练数据上表现良好,但在测试数据上表现不佳。(训练损失小,测试损失大)。可以通俗的理解为在高考之前的训练中都有一个好成绩,但在高考的测试中发挥失常。
极端案例:模型记忆训练数据,无法泛化到新数据。
解决过拟合问题有两个方向:一是通过数据增强的方式,即增加训练集;即图2.7中加入更多蓝色的点,
二是减少参数数量、使用早停(early stopping)、正则化(regularization)和丢弃法(dropoutmethod)等。
交叉验证
交叉验证的重要性避免在测试集上过拟合,确保模型泛化能力。
例如k 折交叉验证(k-foldcross validation)
就是先把训练集切成 k 等份。如下这个例子,训练集被切成 3 等份,切完以后,拿其中一份当作验证集,另外两份当训练集,这件事情要重复 3 次。即第一份第 2 份当训练,第 3 份当验证;第一份第 3 份当训练,第 2 份当验证;第一份当验证,第 2 份第 3 份当训练。
注意事项避免过多调整模型以适应验证集结果,防止在验证集上过拟合。
使用独立的测试集评估最终模型性能。
模型复杂度与损失关系
模型复杂度影响随着模型复杂度增加,训练损失降低,但测试损失可能增加(过拟合)。
需要选择适中的模型复杂度以平衡训练损失和测试损失。
解决方案通过交叉验证等方法选择最佳模型复杂度。
避免选择过于复杂或过于简单的模型。
总结
实践方法论强调从训练数据开始,逐步分析问题并寻求解决方案。
过拟合是常见问题,需通过增加数据、限制模型灵活性等方法解决。
交叉验证是选择最佳模型的重要方法,需避免在验证集上过拟合。
模型复杂度需适中,以平衡训练损失和测试损失。
数据增强和模型限制是提升模型性能的有效手段。