深度学习——模型选择、⽋拟合和过拟合

问题引入：
当我们在改变超参数的时候训练数据集上的准确度提升了但是测试数据集上的准确率却下降了这是为什么呢？
训练误差： 模型在训练数据集上表现出的误差
泛化误差： 模型在测试数据集上表现出的误差（其实是单个测试数据误差的期望，我们有总体来近似，可以考虑除以n）
在数据集同分布的情况下：
训练误差期望=泛化误差

折K交叉验证法

1. 把原始训练数据集分割成K个不重合的⼦数据集
2. 然后我们做K次模型训练和验证
3. 每⼀次，我们使⽤⼀个⼦数据集验证模型，并使⽤其他 个⼦数据集来训练模型
4. 最后对这K次训练误差和验证误差分别求平均。
   模型复杂度与误差的关系
   
   训练数据集与误差关系
   如果训练数据集中样本数过少，特别是⽐模型参数数量（按元素计）更少时，过拟合更容易发⽣。此外，泛化误差不会随训练数据集⾥样本数量增加⽽增⼤，所以训练数据集要尽量大