Datawhale X 李宏毅苹果书 AI夏令营 (深度学习基础——实践 TASK3）

本节学习讲述了如何获得一个更好的学习效果。

1.模型偏差：即模型不够大，效果不太好，这可能与模型不能较好的学到数据的特征有关（模型过于简单）。若模型已经足够大，没有达到性能上限，说明优化做的不够好。

2.模型优化：常用的有梯度下降的方法，可能陷入鞍点或者局部最小值，损失不够低。

需要注意的是，损失不够低与模型大小并没有直接的关联性，比如在关于残差网络的论文中，56层的损失比20层的损失还要高，并不是发生了过拟合的情况，在训练数据中其表现就不够好。

因此，可以用一些浅的简单到 模型比如机器学习模型SVM支持向量机，来进行优化，找到最优的效果，如果更深的模型（神经网络）的效果还比不上这些模型，说明优化没有做到位。

3.过拟合：找出了一个完全符合训练集数据分布的结论，但是并不是普适的结论，所以产生了过拟合这种情况，解决的方法可以通过——增加训练集数据使其更加接近于总体分布，或者通过数据增强，即根据理解创造新的数据。

——再或者给模型一些限制，给模型较少的参数

4.交叉验证：K折交叉验证，拆成K份，取K-1训练 ，最后一份验证，重复K遍，获得K个模型，将每个模型在一个拆出来的验证集上跑，计算在K个集合上算出来的平均损失，选择最好的模型，然后再在全训练集上训练，最终用在测试集上。

5.不匹配：源于数据本身的含义与分布。如果测试集的分布和训练集完全不一样的话，那么这个训练出来的模型就会遭遇不匹配的问题。