本文探讨了深度学习中的调参策略，重点关注了更多优化算法，如Adagrad、RMSPROP和Adam。Adagrad通过自适应学习率解决了稀疏数据问题，但可能因学习率衰减过快导致提前终止。RMSPROP和Adam通过平均平方梯度改进了这一问题，Adam在训练复杂网络时表现出良好的收敛性。此外，还提到了激活函数、网络初始化和数据增强等调参要素。
1、更多的优化算法
2、激活函数
3、网络初始化
4、批归一化
5、数据增强
1、更多的优化算法：
回顾：
1、随机梯度下降
局部极值
Saddle point问题
2、动量梯度下降
这两个方法的问题：
1、都受初始学习率的影响很大
2、每一个维度的学习率都一样（稀疏数据得不到更新，因为导数为0）
3、AdaGrad算法
调整学习率
Adagrad特点：
前期，regularizer较小，放大梯度。
后期，regularizer较大，缩小梯度。
梯度随训练次数降低。
每个分量有不同的学习率。
Adagrad算法缺点：
学习率设置较大，导致regularizer影响过于敏感。
后期，regularizer累积值太大，
最低0.47元/天 解锁文章
扫一扫
6324
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
