训练过程中的Overfitting问题

Preventing overfitting

Early stopping

Weight decay

Training with noise

因此，防止过拟合的常用方法有三种：

        第一，提前阻止。通过增加评估数据集，及时调整训练过程中的权重w，使得cost function以最快的速度下降；

        第二，权重衰减法。这里采用的是正则法，通过加入正则项，使得权重及时得到更新，但是这种方法不易操作，因为正则项该如何选则不容易确定；

        第三，无噪声训练。其实就是采用ROI法，将目标区域进行分割，使得目标特征更加明显，在训练过程中不会因为噪声干扰目标特征。但这种方法最大的缺点就是比较费事，需要人工的分割，做标记。应用面较窄。