深度学习之Over Fitting：神经网络过拟合的检测方法及应对策略

深度学习之Over Fitting：神经网络过拟合的检测方法及应对策略

  本文是《深入浅出神经网络与深度学习》第三章3.2节 过度拟合和规范化 的简易读书笔记，记录了如何在网络训练中判断过拟合的方法，以及应对过拟合的策略。

一、检测方法

  通过记录网络训练过程中的代价函数的变化和准确性等数据的变化，来发现网络是否存在过拟合的情况。
  方法一：如果发现训练数据的误差曲线，和测试数据的准确性曲线，形如下图：训练数据上的误差持续下降，但是测试数据的准确性在某个迭代期后停止增长，则认为网络过度拟合了。
  方法二：如果发现训练数据的误差曲线，和测试数据的误差曲线，形如下图：训练数据上的误差持续下降，同时测试数据的误差在某个迭代期后越来越差，则认为网络过度拟合了。
  方法三：如果发现训练数据的准确性曲线，和测试数据的准确性曲线，形如下图：训练数据上的准确性持续提升到接近100%，而测试数据的准确性却与之差距较大，则认为网络过度拟合了。

二、应对策略

  1.增加训练样本。
  这个是理论上的最佳方法，不过实际上获取样本是所有深度学习项目中最困难的部分，所以该方法并不实际。
  2.规范化
  规范化，即权重衰减，通过在原有代价函数的基础上，增加一个额外的规范化项来实现。
  L1规范化，是在未规范化的代价函数上加上一个权重绝对值的和，形式如下：
$$C=C{}_0+\frac{\lambda }{n}\sum |w|$$
  L2规范化,是在未规范化的代价函数上加上所有权重的平方的和，形式如下：
$$C=C{}_0+\frac{\lambda }{2n}\sum w^2$$
  规范化后的交叉熵代价函数如下：
$$C=-\frac{1}{n}\sum _{xj}[y_{i}ln{a}_j^L+(1-y_j)ln(1-a_j^L)]+\frac{\lambda }{2n}\sum w^2$$
  规范化后的二次代价函数如下：
$$C=\frac{1}{2n}\sum _x\Vert y-a^L{\Vert }^2+\frac{\lambda }{2n}\sum w^2$$
  3.弃权(DropOut)
  训练时，临时断开一半的隐藏神经元，同时输入/输出层保持不变；最终实际运行网络时，从隐藏层神经元出去的权重减半。该方法可以理解为训练了两个不同的网络，类似投票机制，因此可以消除过拟合。
  4.扩展训练数据
  比如将图片旋转一定角度，在原有音频中添加噪声等，来扩展原有的数据。

三、参考资料

[1] 《深入浅出神经网络与深度学习》