Datawhale X 李宏毅苹果书 AI夏令营 task3

模型偏差
模型偏差指的是模型的假设空间（函数集合）对真实问题的描述能力。当模型过于简单时，它可能无法很好地描述复杂的数据模式，即使使用最优参数，也无法显著降低损失函数的值。这种情况会导致高偏差，表现为模型在训练集和验证集上都无法取得良好的表现。
当函数集合过小，可能没有任何一个函数能够很好地拟合数据，这时即使找到了集合内的最优函数，其损失仍然较高。

优化
优化是指通过调整模型参数，找到使损失函数最小化的过程。常用的优化方法是梯度下降法，但它可能面临局部最小值的问题，导致无法找到全局最优解。
在复杂的模型中，梯度下降法可能无法有效找到损失最低的参数，尤其是在假设空间较小的情况下。

过拟合
过拟合是指模型在训练集上表现良好，但在测试集或验证集上表现较差的现象。这通常是因为模型过度拟合了训练集中的噪声或异常点，而无法很好地泛化到新数据。
 
交叉验证
交叉验证是一种评估模型泛化能力的方法。通常，将数据集分为训练集和验证集，模型在训练集上训练后，会在验证集上进行评估，以衡量其性能。合理的交叉验证方法和使用频率是至关重要的，以确保模型的泛化能力。