14.深度学习之RNN进阶-2

14.2 长短期记忆（LSTM）

14.2.1 LSTM的产生原因

• RNN在处理长期依赖（时间序列上距离较远的节点）时会遇到巨大的困难，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，会造成梯度消失或者梯度膨胀的现象
  

14.2.2 LSTM

• LSTM中引入了3个门，即：
  • 输入门（input gate）
  • 遗忘门（forget gate）
  • 输出门（output gate）
• 以及记忆细胞
  

14.2.3 LSTM核心思想

• 遗忘门
  • 作用对象：细胞状态
    
• 输入门
  • 作用对象：细胞状态