trick
BangGui02
这个作者很懒,什么都没留下…
展开
-
Dropout
在训练网络模型的时候,如果训练集太少,要训练的参数又很多,则容易产生过拟合(模型对训练集具有较高的识别率,但是对测试集效果则会很差,这时候模型的泛化能力很差)。此时我们常用解决的办法就是在损失函数中再添加一个惩罚项,通过设置一个惩罚系数,对模型中的参数进行“惩罚”,从而防止因为模型中的大量的参数过大,而导致模型的复杂度上升,最后导致训练出的模型出现过拟合。如果惩罚系数越大,则模型的复杂度就会越低,原创 2017-06-22 21:05:42 · 1815 阅读 · 0 评论 -
Batch Normalization笔记
Batch Normalization笔记在训练深度神经网络的时候,由于前面网络层参数的变化,会使得当前层网络的输入分布发生改变,这种情况需要我们很小心的对网络参数的参数进行初始化,以及使用很小的学习率,而这就会减缓整个网络的训练速度。上面的这种状况就被称为:internal covariate shift。而为了解决这种问题,论文中就提出了一种Batch Normalization的方法。之所以用原创 2017-10-03 14:21:00 · 328 阅读 · 0 评论