“Datawhale X 李宏毅苹果书 AI夏令营”深度学习入门笔记Task3

实践方法

检查训练数据损失确保模型在训练数据上有良好的表现，再评估测试数据结果。

模型偏差模型过于简单：函数的集合过于简单，导致无法捕捉数据的复杂性，目标的函数不在这个函数集合里
解决方案：增加模型灵活性（如增加输入特征（例如笔记一中的视频播放量的预测问题，可以增加之前的关于播放量的数据等特征）、使用深度学习等）。

优化问题

梯度下降等优化算法可能卡在局部最小值，找不到全局最小值

解决方案：尝试不同优化算法，或调整学习率等参数。

过拟合

过拟合现象模型在训练数据上表现良好，但在测试数据上表现不佳。（训练损失小，测试损失大）。可以通俗的理解为在高考之前的训练中都有一个好成绩，但在高考的测试中发挥失常。
极端案例：模型记忆训练数据，无法泛化到新数据。
解决过拟合问题有两个方向：一是通过数据增强的方式，即增加训练集；即图2.7中加入更多蓝色的点，

二是减少参数数量、使用早停（early stopping）、正则化（regularization）和丢弃法（dropoutmethod）等。

交叉验证

交叉验证的重要性避免在测试集上过拟合，确保模型泛化能力。
例如k 折交叉验证（k-foldcross validation）

就是先把训练集切成 k 等份。如下这个例子，训练集被切成 3 等份，切完以后，拿其中一份当作验证集，另外两份当训练集，这件事情要重复 3 次。即第一份第 2 份当训练，第 3 份当验证；第一份第 3 份当训练，第 2 份当验证；第一份当验证，第 2 份第 3 份当训练。

注意事项避免过多调整模型以适应验证集结果，防止在验证集上过拟合。
使用独立的测试集评估最终模型性能。

模型复杂度与损失关系

模型复杂度影响随着模型复杂度增加，训练损失降低，但测试损失可能增加（过拟合）。
需要选择适中的模型复杂度以平衡训练损失和测试损失。
解决方案通过交叉验证等方法选择最佳模型复杂度。
避免选择过于复杂或过于简单的模型。

总结

实践方法论强调从训练数据开始，逐步分析问题并寻求解决方案。
过拟合是常见问题，需通过增加数据、限制模型灵活性等方法解决。
交叉验证是选择最佳模型的重要方法，需避免在验证集上过拟合。
模型复杂度需适中，以平衡训练损失和测试损失。
数据增强和模型限制是提升模型性能的有效手段。