第二讲-神经网络优化-欠拟合&过拟合

6、过拟合和欠拟合      

      欠拟合：模型不能很好的拟合分类

      过拟合：模型对分类拟合的过于好 

• 欠拟合的解决方法：

          增加输入特征项

          增加网络参数

         减少正则化参数

• 过拟合的解决方法：

         数据清洗

         增大训练集

         采用正则化

         增大正则化参数

 

6.1 正则化缓解过拟合

正则化在损失函数中引入模型复杂度指标，利用给W加权重，弱化了训练数据的噪声（一般只对w正则化，不正则化b）

正则化有L1正则化和L2正则化：

            

正则化的选择：

L1正则化大概率会使很多参数变为零，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度。

L2正则化会使参数很接近零但不为零，因此该方法可通过减小参数值的大小降低复杂度。