深度学习过拟合、欠拟合与正则化

1.bias与variance 偏差与方差

 bias 偏差：描述模型拟合能力

 variance 方差：描述模型稳定性

2.欠拟合underfitting

模型不能再训练集上获得足够低的训练误差(high bias)

  解决方式：

  增加模型复杂度

  加入新的特征

3.过拟合overfitting

模型的训练误差与测试误差间差异较大(high variance)

解决方式：

    1> 正则化

        L1：减少参数的绝对值总和

            

        L1可通过假设权重w的先验分布为Laplace分布，由最大后验概率估计导出。L1最终产生稀疏权重矩阵。

        L2：减少参数的平方总和

            

        L2可通过假设权重w的先验分布为Gauss分布，由最大后验概率估计导出。

        混合

            

    2>Batch Normalization

      针对神经网络中每一批数据在每一层网络输入之前进行归一化处理。通过缓解梯度消失加速网络的训练，防止过拟合，也降低了模型的拟合能力。

    3> Dropout

        通过对神经网络中神经元随机筛减，降低网络的复杂度。

    4>交叉验证