optimization
青盏
这个作者很懒,什么都没留下…
展开
-
深度网络 梯度下降优化算法综述 An overview of gradient descent optimization algorithms
原文题目:An overview of gradient descent optimization algorithms原文链接:http://sebastianruder.com/optimizing-gradient-descent翻译者博文地址:http://blog.csdn.net/wangxinginnlp/article/details/50974594转载 2017-12-27 14:59:23 · 5965 阅读 · 1 评论 -
最优化基础知识
主要方法有:解析法、最速下降法、共轭方向法、牛顿法、拟牛顿法、坐标轮换法、鲍威尔方法及其改进、随机方向法、内点法和外点法、Lagerange乘子法、模拟退火、遗传算法、蚁群算法 ...原创 2018-04-12 21:47:10 · 1816 阅读 · 0 评论 -
神经网络优化算法 (BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
SGD、Momentum、Nesterov、AdaGrad、Adadelta、RMSProp、Adam、原创 2018-04-12 21:53:40 · 984 阅读 · 1 评论 -
Adam优化算法中的指数移动平均
机器学习经典算法(三)--指数加权平均机器学习经典算法(三)–指数加权平均指数加权平均(Exponentially Weighted Averages)是一些改进梯度下降法重要理论,如上篇博文梯度下降法(2)提到的动量梯度下降法,RMSprop、Adam等都用到了指数加权平均。也叫指数加权移动平均(Exponentially Weighted Moving Averages)...转载 2019-03-09 20:45:04 · 1248 阅读 · 0 评论