深度学习
开心的喜茶
这个作者很懒,什么都没留下…
展开
-
finetune 学习率要小
与重新训练相比,fine-tune要使用更小的学习率。因为训练好的网络模型权重已经平滑,我们不希望太快扭曲(distort)它们(尤其是当随机初始化线性分类器来分类预训练模型提取的特征时)。finetune的学习率要与训练到最后的学习率大致在一个数量级上。...原创 2020-07-19 21:20:35 · 1813 阅读 · 0 评论 -
deeplearning notes
TL:DR尽可能使用迁移学习。否则,对于已经是广泛研究的问题,先从复制网络结构开始。网络结构应该总是由实验和验证误差来确定。更深(层多),更浅(层少)的网络更难优化,但是更容易有更好的泛化误差。一定要使用 early stopping(早停),两种方法:在整个数据集上使用新的参数再次重新训练模型,在到达先前模型的早停点时停止训练。保留早停点时的参数,继续在所有数据...原创 2019-10-13 22:31:07 · 219 阅读 · 0 评论