这一节我们会提到过拟合,及Dropout策略。
一.拟合:
我们先来看一下三种拟合:
大量案例都表明,在神经网络神经元个数或者层数增加时,训练过程容易出现过拟合的现象。所谓的过拟合,实际上就是指神经网络在训练集上的准确率非常高,但是在
测试集上的准确率很低。什么意思?,就相当于神经网络记住了这些数据,而不是从这些数据中总结出规律。比如我们输入了1000张猫的图片给神经网络进行训练,训练完之后我们将这一千张图片的任意一张输入神经网络,神经网络都能非常准确的认出来是猫。但是我们如果输入不属于这1000张图片的另一张猫的图片,神经网络就认不出来了,这就是过拟合的现象。过拟合现象一般都是因为学习的过于精确,就好比让机器学习人脸,取了100个人的脸训练,但是由于你学习的过精确,导致除了这个样本100人外 其他的人脸神经网络都认为不是人脸,实际我们只需要学习人脸的基本特征 而不是详细到人的皮肤细腻,眼睛大小等过于细致的特征,这样可以保证机器还是能识别别的图片中的人脸的。
至于过拟合问题的解决我们通常有一下几种办法:增加数据集 , 正则化,Dropout.这里我们采用的是Dropout来优化我们的神经网络,Dropout过程如下:
<