模型训练中过拟合与欠拟合

过拟合：在训练集上的loss很低，但是在测试集上的loss很高，就是过拟合。模型的泛化能力差

欠拟合：不能在训练集上获得足够低的训练误差

 

过拟合的解决办法：

        1、权值共享：减少模型参数，减少计算量

        2、BatchNormalization（输入的数据做一个归一化处理）：可以让大型卷积网络快速收敛，提高准确率。不需要使用局部归一化处理，也可以不加Dropout

        3、Dropout：深度中最常见控制过拟合的方法，主要用在全连接层。Dropout方法是在一定概率上除去网络神经元。

 

欠拟合的解决办法：

        1、加入新的特征

        2、增加模型复杂度

        3、减少正则化项系数