Preventing overfitting
Early stopping
Weight decay
Training with noise
因此,防止过拟合的常用方法有三种:
第一,提前阻止。通过增加评估数据集,及时调整训练过程中的权重w,使得cost function以最快的速度下降;
第二,权重衰减法。这里采用的是正则法,通过加入正则项,使得权重及时得到更新,但是这种方法不易操作,因为正则项该如何选则不容易确定;
第三,无噪声训练。其实就是采用ROI法,将目标区域进行分割,使得目标特征更加明显,在训练过程中不会因为噪声干扰目标特征。但这种方法最大的缺点就是比较费事,需要人工的分割,做标记。应用面较窄。