神经网络与深度学习-学习笔记(4)——循环神经网络与NLP

目录

门控循环单元(GRU)

长短期记忆网络(LSTM)

深度循环神经网络

---

门控循环单元(GRU)

GRU基本结构：

候选隐状态：

隐状态：

模型实现：

长短期记忆网络(LSTM)

LSTM网络模型：

“传送带” : 新引入记忆状态

LSTM ：遗忘门

LSTM ：输入门

LSTM ：新值

LSTM ：计算传送带更新值

LSTM：输出门

LSTM ：更新状态

LSTM ：参数量

LSTM ：输入输出和 RNN 相同

深度循环神经网络