刚接触深度学习的时候觉得dropout很简单,参数太多,随便挑几个扔了呗这样就可以防止过拟合。
我所没有想到的是:在训练中中进行的dropout并不是真正的drop,它只是在每个激活层激活之前设置了一个随机过滤器,不去计算这些参数,但事实上这些参数在接下来的测试步骤中并没有被扔掉!
缩放!
下面是cs224n第五课的作业
可以去参考的博客
刚接触深度学习的时候觉得dropout很简单,参数太多,随便挑几个扔了呗这样就可以防止过拟合。
我所没有想到的是:在训练中中进行的dropout并不是真正的drop,它只是在每个激活层激活之前设置了一个随机过滤器,不去计算这些参数,但事实上这些参数在接下来的测试步骤中并没有被扔掉!
下面是cs224n第五课的作业
可以去参考的博客