LSTM与GRU原理

LSTM原理：

LSTM有多种变种形式，一个最简单的形式Cell由三个Gate（input，forget，output）和一个cell组成，Gate使用一个sigmoid激活函数，input和Cell state（C）通常使用tanh转换。

Gates：

 

输入变换：

 

状态更新：

 

图片描述：

                    

             

原文：

https://www.csdn.net/article/2015-09-14/2825693

http://www.cnblogs.com/taojake-ML/p/6272605.html

 

GRU原理：

原文：

https://zhuanlan.zhihu.com/p/30720579?group_id=910073604973465600