- 博客(3)
- 收藏
- 关注
RSS订阅原创 深度学习如何设置学习率
学习率是深度学习中的一个重要的超参，如何调整学习率是训练出好模型的关键要素之一。在通过SGD求解问题的极小值时，梯度不能太大，也不能太小。太大容易出现超调现象，即在极值点两端不断发散，或是剧烈震荡，总之随着迭代次数增大loss没有减小的趋势；太小会导致无法快速地找到好的下降的方向，随着迭代次数增大loss基本不变。学习率调整方法基本上有两种1. 基于经验的手动调整。 通过尝
2016-10-23 16:33:03
40028
8
原创 残差resnet网络原理详解
resnet在2015名声大噪，而且影响了2016年DL在学术界和工业界的发展方向。它对每层的输入做一个reference, 学习形成残差函数， 而不是学习一些没有reference的函数。这种残差函数更容易优化，能使网络层数大大加深。
2016-10-04 16:47:50
317321
47
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人