- 博客(2)
- 收藏
- 关注
原创 ADABOUND算法,究竟是颠覆Adam算法的成果还是只是一种小技巧?
这两年,随着adam算法的缺陷被科学家发现,很多研究人员开始对adam进行了改进。其中中国的两位本科学霸开发出来了AdaBound算法,受到了国内媒体的关注。我是之前看到一篇 拳打Adam,脚踩Sgd的新闻,才了解到这个AdaBound算法。当时颇为震惊,因为Adam和Sgd算法都是深度学习界赫赫有名的算法。所以抱着好奇的想法看了看这篇论文,依然有一些疑问,希望能和大家一起交流学习。Adam算法作为深度学习界的自适应优化算法,Adam算法可谓是威名赫赫,它赋予了神经网络在更新每个参数的时候都能自适应的
2020-05-09 12:36:45
1426
原创 LSTM网络的反向传播数学公式的严格矩阵推导证明
本文主要是针对LSTM网络的反向传播公式进行推导,本人已经用matlab试验成功。在观看前,请确保自己拥有矩阵求导,向量求导,矩阵求导布局,链式求导法则以及LSTM网络的相关知识。因本人水平有限,如有错误请大家指出。圆圈中带一个点的符号是矩阵或者向量点乘。这是LSTM前向传播的算法回顾。反向传播算法首先要定义c,h的反向传播误差量,上标的t代表的是第t个时间步。h是隐藏层,c是LSTM存贮长期信息的路径。我们首先要推导每一个时间步的h和c的反向传播误差值。因为只有知道每一层的这两个值,才能更新梯度,从
2020-05-09 11:07:22
765
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人