Datawhale X 李宏毅苹果书 AI夏令营task03

机器学习实践方法论

• 训练数据损失大
  1. 模型偏差
  2. 优化问题
• 训练数据损失小，测试数据损失大
  1. 过拟合
  2. 不匹配

模型偏差

当模型过于简单时，它可能无法捕捉到数据中的复杂关系，导致模型集合（由不同参数θ定义的函数集合）过小，无法包含能够显著降低损失函数的理想函数。这种情况下，即便通过训练找到了最优参数θ*，该模型仍然无法达到较低的损失值，因为理想函数根本不在模型的表示范围内

解决方案：

• 增加模型复杂性：通过增加更多的输入特征或采用更复杂的模型（如深度学习模型），可以扩大模型的表示能力，使其能够包含更接近真实数据复杂性的函数
• 提高模型灵活性：设计更灵活的模型结构，使其能够更准确地拟合数据

优化问题

一般使用的梯度下降等优化方法可能面临局部最小值、鞍点等挑战，导致无法找到全局最优解。模型的选择和优化之间需要权衡，过小的模型可能因容量不足而欠拟合，过大的模型则可能过拟合。为判断是模型偏差还是优化问题，可以比较不同复杂度模型在训练集上的表现。若较复杂的模型在训练集上表现不佳，很可能是优化问题；反之，则可能是模型容量不足

针对优化问题，可尝试更换优化算法、调整学习率等；针对模型偏差，则应考虑增加模型容量或改进模型架构。此外，数据预处理、超参数调优、可视化等方法也有助于提升模型性能。总之，平衡模型复杂度、优化算法和数据质量是取得良好性能的关键

过拟合

模型复杂度过高：当模型复杂度超过必要水平时，它可能会捕捉到训练数据中的随机噪声，而非真正的规律
训练数据不足：如果训练数据很少，模型容易过分依赖这些数据点，导致在训练集上表现良好，但在新的数据上泛化能力差
解决方案：

1. 增加训练数据：
   • 收集更多数据
   • 数据增强，通过变换现有数据来创造新数据（如图像翻转、裁剪等），但需保证数据变换的合理性
2. 降低模型复杂度：
   • 减少模型参数。
   • 使用更简单的模型架构，如从全连接网络转向卷积神经网络
   • 减少特征数量
3. 正则化技术：
   • 引入正则化项（如L1、L2正则化）来惩罚模型复杂度，避免过拟合
   • 使用早停法（early stopping），在验证集上性能开始下降时停止训练
   • 丢弃法（dropout）：在训练过程中随机丢弃一部分神经元，减少神经元之间的共适应
4. 模型选择与验证：
   • 使用交叉验证来选择最优模型，确保模型在未见过的数据上也能表现良好
   • 区分公开测试集和私有测试集，避免模型仅在公开测试集上过拟合
     

注意事项

• 不要给模型过多或过少的限制。过多限制会导致模型偏差（欠拟合），过少限制会导致过拟合
• 选择合适的模型复杂度，找到训练损失和测试损失之间的平衡点
  

交叉验证

通常将训练数据分为两部分，90%作为训练集（training set），用于训练模型；10%作为验证集（validation set），用于评估模型性能。验证集用于在训练过程中选择最佳模型，确保所选模型在未见过的数据上也能表现良好

k折交叉验证（k-fold cross validation）

随机划分验证集可能导致验证集数据不具有代表性，影响模型选择，为减少这种风险，可以使用k折交叉验证

• 将训练集切分为k个等份，每次使用其中一份作为验证集，其余作为训练集，重复k次
• 每次训练得到一个模型，并在对应的验证集上评估其性能
• 计算所有模型的平均性能，选择表现最好的模型作为最终模型

这种方法提高了验证集的代表性和模型选择的可靠性

不匹配

不匹配跟过拟合其实不同，一般的过拟合可以用搜集更多的数据来克服，但是不匹配是指训练集跟测试集的分布不同，训练集再增加其实也没有帮助了