BigCowPeking

实践是检验真理的唯一标准

深度学习剖根问底: Adam优化算法理解

Momentum是为了对冲mini-batch带来的抖动。

RMSprop是为了对hyper-parameter进行归一,均方根反向传播(RMSProp)

这两个加起来就是Adam

看原始的RMSProp算法: 
这里写图片描述

再看算法:其实就是Momentum+RMSProp的结合,然后再修正其偏差。 
这里写图片描述

阅读更多
版权声明:本文为博主原创文章,转载请注明出处,谢谢。 https://blog.csdn.net/wfei101/article/details/79950510
文章标签: Adam
个人分类: 深度学习剖根问底
上一篇深度学习剖根问底: Adam优化算法的由来
下一篇C++:Private和Protected的成员变量的区别
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭