tensorflow实战之四：MNIST手写数字识别的优化3-过拟合

这一节我们会提到过拟合，及Dropout策略。

      一.拟合：

       我们先来看一下三种拟合：

      大量案例都表明，在神经网络神经元个数或者层数增加时，训练过程容易出现过拟合的现象。所谓的过拟合，实际上就是指神经网络在训练集上的准确率非常高，但是在

测试集上的准确率很低。什么意思？，就相当于神经网络记住了这些数据，而不是从这些数据中总结出规律。比如我们输入了1000张猫的图片给神经网络进行训练，训练完之后我们将这一千张图片的任意一张输入神经网络，神经网络都能非常准确的认出来是猫。但是我们如果输入不属于这1000张图片的另一张猫的图片，神经网络就认不出来了，这就是过拟合的现象。过拟合现象一般都是因为学习的过于精确，就好比让机器学习人脸，取了100个人的脸训练，但是由于你学习的过精确，导致除了这个样本100人外 其他的人脸神经网络都认为不是人脸，实际我们只需要学习人脸的基本特征 而不是详细到人的皮肤细腻，眼睛大小等过于细致的特征，这样可以保证机器还是能识别别的图片中的人脸的。

至于过拟合问题的解决我们通常有一下几种办法：增加数据集 ， 正则化，Dropout.这里我们采用的是Dropout来优化我们的神经网络，Dropout过程如下：

<