过拟合和欠拟合进阶详解：

过拟合和欠拟合进阶详解：

首先说说深度学习在干什么，深度学习训练是在训练集上进行的，我们会将数据集以一定比例分为训练集和测试集（一般还有验证集），一个好的训练集的特征空间是基本囊括需要测试泛化性能的测试集特征空间的，深度学习就是要用一个庞大的含有很多参数的式子去完成训练集特征空间到标签的映射，然后泛化到测试集上。由于理想状态下同标签的训练集的有效特征空间（如花朵分类任务中图像中花的部分就是有效特征）是覆盖了测试集的有效特征空间的（同标签下无效特征大概率是分布不同的），又由于训练集中有效特征空间到标签的映射一般需要参数量最少的（如果通过叶子或是背景来预测花的分类那将难以完成），所以如何找到这个最小参数的模型便是我们的任务。

1、欠拟合

欠拟合是由于模型参数和复杂度不够，无法给训练集的特征空间一个达到一定准确率的全局最优点。即参数量和复杂度达不到我们要找的那个正好使用有效特征映射到标签的模型。

2、正好拟合

这种情况就是我们调参时寻找的情况，假设模型的参数和复杂度刚好，那么模型就会对训练集组成的特征空间有一个全局最优的点，此时的全局最优是每个样本的的有效特征到标签的映射，此时是理想状态，对标签无影响的无用特征对标签没有映射关系，这样就用最少最简洁的模型完成了对训练集有用特征到标签的拟合。如果数据集没有问题的话，测试集和训练集的全局最优的点位置是相近的，此时在测试集上的表现性能也极好。

3、过拟合

此时模型过于复杂，参数较多，会在训练集上产生多个全局最优的点，其中只有一个是测试集全局最优点，因此大多数情况在训练集上准确率很高，但在测试集上效果很差，这是由于过大的模型使训练集中无效特征产生了与标签的映射关系，而在测试集上相同标签的无效特征分布在不同的空间，导致此种映射关系无法迁移到测试集。