#Datawhale X 李宏毅苹果书 AI夏令营#2.实践方法论

2.实践方法论

概览：

• 在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。
• 如果在Kaggle上的结果不佳，首先应检查训练数据的损失，确认模型是否在训练集上表现良好。

2.1模型偏差

模型偏差可能会影响模型训练。

• 定义：当模型过于简单，无法捕获数据中的复杂模式时，会发生模型偏差。
• 示例：假设模型仅能表示一组有限的函数，可以让损失变低的函数不在模 型可以描述的范围内。
• 解决方案：重新设计一个模型，给模型更大的灵活性。
  • 增加输入特征数量，使用更多的特征。
  • 使用深度学习（更多神经元、层）来提高模型的灵活性。

2.2优化问题

一般只会用到梯度下降进行优化，这种优化的方法很多的问题。

• 定义：即使模型具有足够的灵活性，也可能因为优化方法（如梯度下降）的问题而未能找到最优解。
• 示例：优化过程卡在局部最小值的地方。
• 解决方案：
  • 通过比较不同的模型来判断模型现在到底够不够大。比如残差网络的例子，56层的损失比20层高，因为56层网络的优化没有做好。
  • 可以先训练一些比较浅的模型，或者是一些比较简单的模型，先知道这些简单的模型，到底可以得到什么样的损失。
  • 如果深的模型跟浅的模型比起来，深的模型明明灵活性比较 大，但损失却没有办法比浅的模型压得更低代表说优化有问题，梯度下降不给力。
  • 如果更深的网络性能没有提升，则表明可能存在优化问题。

2.3过拟合

为什么会有过拟合这样的情况呢？过拟合如何解决呢？

• 定义：模型在训练数据上表现极佳，但在未见过的数据（测试数据）上表现较差的现象。
• 原因：模型过度适应训练数据，学习到了噪声而非潜在的规律。
• 解决方案：
  • 增加训练数据：收集更多的训练样本或使用数据增强技术。
  • 限制模型复杂度：
    • 给模型比较少的参数。如果深度学习，给他比较少的神经元的数量；，或者让模型共用参数。
    • 用比较少的特征。
    • 应用正则化、早停或丢弃法等技术。

模型复杂度的平衡：可以选一个中庸的模型，不是太复杂的，也不是太简单的，刚刚好可以在训练集上损失最低，测试损失最低。

2.4交叉验证

比较合理选择模型的方法是把训练的数据分成两半，一部分称为训练集（training set）， 一部分是验证集（validation set）。

• 目的：交叉验证是一种评估模型泛化能力的方法，用于选择最佳模型。
• 流程：
  • 将数据集分为训练集和验证集，通常比例为90%和10%。
  • 使用训练集训练模型，并使用验证集评估模型性能。
  • 根据验证集上的性能挑选模型，然后将最终选定的模型应用于整个训练集进行训练。
• k折交叉验证（k-fold cross validation）：
  • 将训练集切成k等份。
  • 重复k次，每次将其中一个折用作验证集，其余k-1个折用作训练集。
  • 计算每个模型在所有k次验证上的平均性能，选择平均性能最佳的模型。
• 优点：
  • 减少了验证集随机划分的影响。
  • 更充分地利用了数据集中的样本。

2.5不匹配

• 定义：不匹配是指训练集和测试集之间的数据分布差异。
• 示例：
  • 使用2020年的数据作为训练集，2021年的数据作为测试集，不匹配问题可能很严重。
  • 数据背后的基础分布发生了变化，导致模型预测效果不佳。
• 案例分析：
  • 模型预测2021年2月26日的观看人数，但实际结果与预测相差甚远。
  • 模型基于过去的数据预测周五晚上观看人数较低，但实际情况相反。
• 解决方案：
  • 需要理解数据本身的生成方式，识别分布变化的原因。
  • 收集更多数据通常不能解决不匹配问题。

喜欢的小伙伴点赞收藏关注吧。