Droupout与正则化

上图就是一个过拟合的典型的例子，最右上方的圆圈我们暂时叫做问题点。只有参数越复杂，我们的预测函数才会越能够到达那个问题点，因此正则化就是减少我们不重要的参数的方法，具体可见正则化的损失函数。

Droupout是使每个神经元都有一定的概率进行失活，失活后训练、修改参数。所以在不断的训练过程中，问题点肯定有一些过程失活，我们的最终的预测函数也就没那么偏向问题点。