神经网络学习笔记（5）：LSTM

LSTM

LSTM的架构：

学习门：

 

遗忘门：

 

记忆门：

 

应用门（输出门）：

 

总结：

解释

遗忘门会接受长期记忆并遗忘一部分；

学习门会把短期记忆和事件放到一起作为我们最近学到的信息；

记忆门则把还没有遗忘的长期记忆和刚学到的新信息放到一起，以便更新长期记忆并将其输出；

使用门会把我们刚学到的信息和还没遗忘的长期记忆放到一起，从中作出预测并更新短期记忆。

Why tanh or sigmoid?

因为这样行得通，还有很多其他简单的或者复杂的结构：

（1）GRU门限回归单元:

他把遗忘门和学习门合并为更新门

然后把更新门的结果交由合并门处理

他只会返回一个工作记忆，而不是一对长短时记忆

 

（2）Peephole Connections窥视孔连接：