Datawhale Task3 学习笔记：《深度学习详解》1.3

1. 模型偏差 (Model Bias)

模型偏差是指模型过于简单，无法有效捕捉数据的复杂性，从而导致较高的训练误差。解决模型偏差问题可以通过增加模型的复杂性，或增加输入特征来提升模型的灵活性。

代码示例：

• 当训练误差较高时，模型可能存在偏差问题，意味着模型无法充分拟合数据。
• 解决方法包括增加模型的复杂性，例如采用更深的神经网络或者使用更多的特征。

2. 优化问题 (Optimization Issues)

优化问题可能导致模型在局部最小值处停滞，未能找到全局最优解。解决优化问题的办法包括采用更先进的优化算法，如动量法、Adam 优化器等。

• 通过使用 Adam 优化器，可以克服梯度下降算法可能遇到的局部最优解问题。
• 通过绘制训练和验证集的损失曲线，可以观察模型在训练过程中是否存在优化问题。

  3. 过拟合 (Overfitting)

  过拟合问题是指模型在训练集上表现非常好，但在测试集上的误差却很大。常见的解决办法包括数据增强、正则化、以及使用较浅的网络模型等。

• 

4. 交叉验证 (Cross-Validation)

交叉验证用于选择最优模型，避免在验证集上发生过拟合。k 折交叉验证将数据集划分为 k 个子集，分别进行训练和验证，最后取平均结果。

通过 cross_val_score 进行 k 折交叉验证，可以帮助选择表现最好的模型，避免过拟合和欠拟合。

5. 不匹配 (Mismatch)

不匹配问题出现在训练集和测试集的分布不同的情况下，可能导致模型在测试集上表现不佳。解决不匹配的办法包括通过理解数据来源并调整训练集或测试集的采样方式。

示例：假设使用2020年的数据进行训练，用2021年的数据进行测试，模型可能无法准确预测2021年的数据。

6. 学习心得：

这次学习让我加深了对机器学习模型训练过程中常见问题的理解，比如模型偏差、优化问题、过拟合和交叉验证等。通过实践代码，我认识到模型过于简单会导致偏差，而优化不足可能导致模型无法达到全局最优。对于过拟合问题，我学会了使用 Dropout 和正则化来提升模型的泛化能力。此外，交叉验证让我知道如何更合理地选择模型，避免过拟合。整体上，这次学习帮助我更好地掌握了深度学习模型的调试与优化方法。