LSTM 和GRU

这几天去就纠结一下RNN，然后老板让我详细解释RNN LSTM GRU。所以开始找博客看。然后发现大家的博客咋都内容差不多，图也差不多。

于是自己记笔记。。方便以后自己开组会的时候写总结。 最后再去啃啃论文。。。直接上论文有点难受。。毕竟一周时间还得干别的。。不能光看论文了。。。

参考的这个老哥https://blog.csdn.net/heyongluoyao8/article/details/48636251，还有B站的一些视频。

RNN的话，

st=f(Uxt+Wst−1)          重点大概是

1.每一层各自都共享参数U V W. 但是我觉得他说的层应该是每个sequence的unit？不知道是不是我的理解错误。

2.在t=4时，我们还需要向后传递三步，已经后面的三步都需要加上各种的梯度。该学习算法称为Backpropagation Through Time (BPTT) 所以我得看看BPTT的详细操作。。

这玩意儿解决不了太长的问题。尤其是我的数据是一段时间里的信号变化！

 

 

GRU的话，这个图简单明了。 当前的X 和前一个隐藏层的状态hidden state计算出update gate和reset gate， 然