上图就是一个过拟合的典型的例子,最右上方的圆圈我们暂时叫做问题点。只有参数越复杂,我们的预测函数才会越能够到达那个问题点,因此正则化就是减少我们不重要的参数的方法,具体可见正则化的损失函数。
Droupout是使每个神经元都有一定的概率进行失活,失活后训练、修改参数。所以在不断的训练过程中,问题点肯定有一些过程失活,我们的最终的预测函数也就没那么偏向问题点。
上图就是一个过拟合的典型的例子,最右上方的圆圈我们暂时叫做问题点。只有参数越复杂,我们的预测函数才会越能够到达那个问题点,因此正则化就是减少我们不重要的参数的方法,具体可见正则化的损失函数。
Droupout是使每个神经元都有一定的概率进行失活,失活后训练、修改参数。所以在不断的训练过程中,问题点肯定有一些过程失活,我们的最终的预测函数也就没那么偏向问题点。