Understanding dropout
- 解释 1 通过dropout,每次训练都构建一个更小的神经网络,从而减小过拟合现象发生
- 解释 2 通过dropout,每个neuron不能依赖前一层的某个特定的feature,所以不得不将权重值分散开,从而起到了shrink weights的作用,从而减小过拟合。
- 注意 dropout使得function J J <script type="math/tex" id="MathJax-Element-1">J</script> 不在能用来做debug的工具