过拟合解决方法python_欠拟合、过拟合及其解决方法

在我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化到了一定程度就需要解决过拟合的问题了，这个问题也在学术界讨论的比较多。(之前搜了很多有的博客，讲的都不太全，因此我重新整理总结了一遍，同时加入了自己的理解，方便自己和后来人查阅)

首先就是我们在进行模型训练的时候会出现模型不能够很好地拟合数据的情况，这个时候就需要我们来判断究竟现在的模型是欠拟合还是过拟合，那么怎么来判断这两者的情况呢？有两种方法：

首先看一下三种误差的计算方法：

training error

cross validation error

test error

1)学习曲线(learning curves)

学习曲线就是比较 j_train 和 j_cv。如下图所示，为一般的学习曲线，蓝色的线表示训练集上的误差 j_train, 粉色的线表示验证集上的误差 j_cv，横轴表示训练集合的大小。

刚开始处于 “A” 点，表示当训练数据很小时，很容易时训练集上的误差非常小，此时处于过拟合状态。随着训练数据的增加，训练数据上的误差 J_train 越来越大，而验证集上的误差 J_cv 越