RMSProp
文章平均质量分 74
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n作业笔记2.3:优化算法Momentum, RMSProp, Adam
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记本部分实现的是Momentum,RMSProb, Adam三种优化算法,优化算法是用于从随机点出发,逐渐找到局部最优点的算法。关于各种优化算法的详细介绍,请参考CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum原创 2016-12-29 21:13:51 · 6526 阅读 · 3 评论 -
CS231n课程笔记6.1:优化迭代算法之SGD,Momentum,Netsterov Momentum,AdaGrad,RMSprop,Adam
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。优化迭代算法写在前面:Karpathy推荐Adam作为默认算法,如果full batch的话,在去除所有噪声的情况下尝试L-BFGS(一种二阶优化算法,详情请自行搜索)。关于优化算法的实现请参考CS231n作业笔记2.3:优化算法Momentum, RMSPro原创 2017-03-02 21:47:11 · 8333 阅读 · 2 评论