Datawhale X 李宏毅苹果书 AI夏令营 task3

机器学习框架与实践笔记

实践方法论与模型训练策略
在实际应用机器学习时，良好的实践方法论对于模型训练至关重要。首先，如果在像Kaggle这样的平台上测试结果不理想，通常建议先检查训练数据的损失。具体来说，模型是否在训练数据上表现良好，是判断问题的关键。如果训练数据的损失过大，那么模型在测试集上也不会表现出色。因此，需要优先解决训练集上的问题，再进一步分析训练集表现不佳的原因。

以下是几种常见的会导致loss过大的问题

模型偏差与优化问题
模型偏差（bias）是指模型复杂度不足以捕捉数据中的模式，从而导致表现不佳。即函数太过简单。这种情况下，可能需要通过增加模型的复杂性（例如引入更多的特征或使用更复杂的模型）来解决问题。

然而，即使模型复杂度合适，也可能因优化不当（例如梯度下降法陷入局部最小值）而导致模型训练失败。

有一种能判断损失过大是否是因为优化的原因的方法：即比较一个函数的神经网络不同层数的损失来看优化是否合适，倘若更深层数时模型的表现反而更让差，则其优化并不合适。

过拟合与模型选择
过拟合（overfitting）通常在训练数据量不足或模型过于复杂时发生，导致过拟合的模型在训练集上表现良好，但在测试集上效果不佳。

解决过拟合的常见方法包括：增加训练数据、使用数据增强技术（此方法是通过对要解决问题的合理解释来增加相应的数据量，而不是使用额外数据）、对模型施加正则化约束（以限制模型过大的灵活性）、或通过交叉验证来选择合适的模型复杂度。

交叉验证与模型选择
交叉验证（cross-validation）是一种常用的模型验证方法，通过将数据集划分为多个子集，反复训练和验证模型，从而选择最优模型。这种方法不仅可以有效防止过拟合，还能更准确地评估模型在未见数据上的表现。

不匹配与分布差异
不匹配（mismatch）问题指的是训练数据和测试数据的分布不一致，这种情况下，单纯增加训练数据并不能解决问题。解决不匹配问题需要对数据本身有深入理解，并采取相应的策略来减小训练集与测试集之间的差异。