- 博客(3)
- 收藏
- 关注
原创 深度学习如何设置学习率
学习率是深度学习中的一个重要的超参,如何调整学习率是训练出好模型的关键要素之一。在通过SGD求解问题的极小值时,梯度不能太大,也不能太小。太大容易出现超调现象,即在极值点两端不断发散,或是剧烈震荡,总之随着迭代次数增大loss没有减小的趋势;太小会导致无法快速地找到好的下降的方向,随着迭代次数增大loss基本不变。学习率调整方法基本上有两种1. 基于经验的手动调整。 通过尝
2016-10-23 16:33:03 40028 8
原创 残差resnet网络原理详解
resnet在2015名声大噪,而且影响了2016年DL在学术界和工业界的发展方向。它对每层的输入做一个reference, 学习形成残差函数, 而不是学习一些没有reference的函数。这种残差函数更容易优化,能使网络层数大大加深。
2016-10-04 16:47:50 317309 47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人