首先,判断损失函数在训练集上的误差大小。误差大,可能有两种情况,一是模型不好,太过于简单。二是优化不行,比如梯度下降时,找到的是局部最优值,而不是全局最优值。
模型太简单。比如大海捞针,针却不在
如果在训练集上层数多的模型比层数低的模型的误差还要大,就说明不是过拟合,而是模型优化的问题。
过拟合。随着模型层数的增加,训练集的误差越来越小,但是测试集的误差,先减小后增加。这就输过拟合
首先,判断损失函数在训练集上的误差大小。误差大,可能有两种情况,一是模型不好,太过于简单。二是优化不行,比如梯度下降时,找到的是局部最优值,而不是全局最优值。
模型太简单。比如大海捞针,针却不在
如果在训练集上层数多的模型比层数低的模型的误差还要大,就说明不是过拟合,而是模型优化的问题。
过拟合。随着模型层数的增加,训练集的误差越来越小,但是测试集的误差,先减小后增加。这就输过拟合