- 博客(2)
- 收藏
- 关注
RSS订阅原创 ADABOUND算法，究竟是颠覆Adam算法的成果还是只是一种小技巧?
这两年，随着adam算法的缺陷被科学家发现，很多研究人员开始对adam进行了改进。其中中国的两位本科学霸开发出来了AdaBound算法，受到了国内媒体的关注。我是之前看到一篇 拳打Adam，脚踩Sgd的新闻，才了解到这个AdaBound算法。当时颇为震惊，因为Adam和Sgd算法都是深度学习界赫赫有名的算法。所以抱着好奇的想法看了看这篇论文，依然有一些疑问，希望能和大家一起交流学习。Adam算法作为深度学习界的自适应优化算法，Adam算法可谓是威名赫赫，它赋予了神经网络在更新每个参数的时候都能自适应的
2020-05-09 12:36:45
1426
原创 LSTM网络的反向传播数学公式的严格矩阵推导证明
本文主要是针对LSTM网络的反向传播公式进行推导，本人已经用matlab试验成功。在观看前，请确保自己拥有矩阵求导，向量求导，矩阵求导布局，链式求导法则以及LSTM网络的相关知识。因本人水平有限，如有错误请大家指出。圆圈中带一个点的符号是矩阵或者向量点乘。这是LSTM前向传播的算法回顾。反向传播算法首先要定义c，h的反向传播误差量，上标的t代表的是第t个时间步。h是隐藏层，c是LSTM存贮长期信息的路径。我们首先要推导每一个时间步的h和c的反向传播误差值。因为只有知道每一层的这两个值，才能更新梯度，从
2020-05-09 11:07:22
765
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人