#DatawhaleX李宏毅苹果书 AI夏令营#task3课程笔记

这一章主要是关于机器学习中实践方法论的学习。关于文章内容的一些笔记如下：

一、模型训练的实践方法论

1. 检查训练数据损失：在 Kaggle 上结果不好时，先检查训练数据的损失，看模型在训练数据上是否学起来。
2. 分析训练不好的原因：可能是模型偏差或优化问题。

二、模型偏差

1. 定义：模型过于简单，函数集合太小，无法包含使损失变低的函数，导致在训练集上损失大。
2. 解决方法：增加模型的灵活性，如增加输入特征、设更大的模型或用深度学习。

三、优化问题

1. 问题表现：梯度下降可能卡在局部最小值，无法找到使损失低的参数，导致训练数据损失不够低。
2. 判断方法：通过比较不同模型，如先跑小的、浅的网络或用非深度学习方法，了解简单模型的损失，再与深的模型比较。
3. 解决建议：如果深的模型灵活性大但损失无法比浅的模型压得更低，说明优化有问题，需要寻找更好的优化方法。

四、过拟合

1. 原因举例：模型灵活性大，在训练集上过度拟合，导致在测试集上损失大。
2. 解决方向：
   • 增加训练集：通过数据增强，根据问题理解创造新数据，但要选择合适的增强方式。
   • 给模型限制：减少参数、使用较少特征、采用早停、正则化和丢弃法等方法。

五、选择模型的方法

1. 避免过拟合：不要根据公开测试集调模型，因为可能在私人测试集上结果差。
2. 交叉验证：
   • 将训练数据分成训练集和验证集，根据验证集分数挑选模型并上传到 Kaggle。
   • 为避免随机分验证集导致结果差，可采用 k 折交叉验证，将训练集切成 k 等份，重复进行训练和验证，平均结果后选择最好的模型。

六、不匹配问题

1. 定义：训练集和测试集分布不同，增加数据也无法解决，如根据过去数据预测出现反常情况。
2. 解决方法：对训练集和测试集的产生方式有理解，判断是否遇到不匹配情况。