- 博客(3)
- 收藏
- 关注
原创 个人理解关于GRU和LSTM之间的区别和联系
首先通过公式我认为GRU(“Learning Phrase Representations using RNN EncoderDecoder for Statistical Machine Translation”)里的h与LSTM里的C是非常类似的,与之相对应的是GRU里的和LSTM里的非常类似。区别在于控制隐藏状态更新的参数,GRU里的控制参数有两个,一个是重置门r,另一个是更新门z;而LST...
2018-07-13 10:12:09 7028 1
原创 MD-RNN的个人理解
论文:“Multi-Dimensional Recurrent Neural Networks”论文地址:https://arxiv.org/pdf/0705.2011.pdf这篇博客是在本人阅读论文后的一些自己的理解记录,如有错误请大家多多指教。首先给出的是前向传播和反向传播的图示:在进行前向传播时,当前隐层接收到当前输入样本和在每个维度上之前一步的激活值(之前一步的隐层激活值)。接下来直接给出...
2018-07-10 21:23:34 819
原创 LSTM及其变体
由于LSTM和双向LSTM很多博客都已经有了详细的说明,这里就不再介绍了。这篇博客主要的是关于LSTM的一些变体的综述,每个综述都会附有论文下载链接。LSTM是一种特殊的RNN,它对RNN进行了改进,拥有输入门、遗忘门、输出门,从而使得网络可以记住更加久远的历史信息。论文:“Multi-Dimensional Recurrent Neural Networks ”:论文下载地址:http://ww...
2018-07-09 09:55:29 18172 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人