Datawhale X 李宏毅苹果书AI夏令营--tast3笔记（机器学习框架&实践攻略）

3.实践方法论

我们可以把测试结果放到kaggle上进行评估，有时会因为训练集上没有学好而导致误差过大，我们可以通过实践方法论分析在训练集上没有学好的原因。

3.1模型偏差

模型选取不准确，例如，线性模型拟合非线性数据，假设我们尝试使用线性回归模型来拟合一个实际上是非线性的数据集（如二次函数或更高次函数的数据）。线性模型无法捕捉到数据的非线性关系，导致在训练和测试数据上都产生较大的偏差。

这时候可以使用更复杂的模型：如果数据呈现二次关系，可以使用二次多项式回归模型；对于更复杂的数据集，可以考虑使用深度神经网络。

也可以增加特征数量：通过添加更多的特征来训练数据集，可以提高模型的复杂性，提高模型灵活度。这有助于减少由于特征选择不足而引起的偏差。

3.2优化问题

有时我们遇到损失大的问题可能是模型的优化没有做好。我们常用梯度下降进行优化，但梯度下降法往往会遇到局部最小值的问题局部最小值问题详见我的深度学习tast1笔记https://mp.csdn.net/mp_blog/creation/editor/141554940，也就是通过梯度下降的优化方法往往也难找到最小的损失，所以这个时候我们就要思考：问题底是出在模型上还是出在优化上。

判断的方法：通过比较不同的模型来判断模型现在到底够不够大。

通过残差网络的论文“Deep Residual Learning for Image Recognition”的例子，在测试集上56层的神经网络比20层的神经网络损失要大，再通过查看训练集的损失情况，发现56层神经网络的损失依旧很大，这说明不是过拟合的问题；再通过比较训练集的损失20层的比56层损失小，而56层的模型弹性明显比20层大得多，这说明不是模型的问题，而是优化没有做好。

3.3过拟合

前面讲了训练损失大，测试损失大的优化问题，如果是训练损失小但测试损失大，这就很可能是过拟合问题了。

过拟合（Overfitting）是一个常见的现象，简单来说就是模型在训练数据上学得太好了，以至于它开始捕捉到了训练数据中的噪声或随机性，而不是真正的数据模式。这导致模型在训练数据上表现非常好，但在新的、未见过的数据上（即测试数据）表现很差。

想象一下你正在教一个孩子识别猫和狗的图片。如果你给他看了太多同一只猫或同一只狗的图片，并且这些图片之间有些细微的差别（比如光线、角度等），那么这个孩子可能会过分关注这些细微差别，以至于他只能认出他见过的那几只猫或狗，而无法识别其他猫或狗。这就是过拟合的一个例子。

为了防止过拟合，我们可以采取一些措施，比如使用更多的训练数据、简化模型的复杂度、采用正则化方法、交叉验证等。

（1）数据增强（data augmentation，）。如将同一张图片左右颠倒，或者放大截取。

（2）给模型制造限制：

-给模型比较少的参数，比如使用全连接网络（fully-connected network）中的卷积神经网络（Convolutional Neural Network，CNN）是一个比较有限制的架构。

-用比较少的特征，比如把三天数据改为两天数据

-早停（early stopping）、正则化（regularization）和丢弃法（dropoutmethod）。

也不能给模型太多限制，否则也会造成太大偏差，就是前面说的模型和优化问题。

3.4交叉验证

我们可以通过把数据集分成训练集（training set）和验证集（validation set）两部分去测试不同模型，通过上传kaggle验证集评分最终选出合适的模型。

有时候我们划分不好训练集（training set）和验证集（validation set）会导致结果很差，这时候可以使用k 折交叉验证（k-foldcross validation）。即，把数据分成三等份，其中两份测试集，一份验证集，然后三份轮流做验证集。然后比较不同模型这三轮训练的平均得分，选出最好的模型。假设model1是最好的，那么就从新把modle1用到全部训练集上，训练后用在测试集上。

3.5不匹配

简单来说，不匹配（mismatch）就是在未来需要预测的某一个数据上出现了和原有训练集相比较反常的情况，这种反常导致的误差与模型和优化无关。就像预测国庆某景区人数，很可能因为天气，灾害等不可抗力因素导致误差较大，面对这个问题，通常需要我们有更多的实际经验来解决。我们可能要对训练集跟测试集的产生方式有一些理解，才能判断它是不是遇到了不匹配的情况。