LSTM学习笔记

1.   原理：描述一下细胞状态和三个门。

LSTM的公式推导详解    简单理解LSTM

LSTM（长效短期记忆神经网络）是一种特殊的RNN，它能够学习到较长的依赖关系（注意是较长，太长了也不行）。

细胞状态和三个门结构，遗忘门，输入输出门。

第一步是决定从细胞状态中丢弃什么信息（图一），由“忘记门”的Sigmoid层实现（0代表不通过任何信息，1代表全部通过）。

下一步决定我们要在细胞状态中存储什么信息。具体操作分为两部分，一是决定在细胞中更新哪些值，产生it和Ct两个新向量（图二），然后进行计算，即上一个状态值Ct乘以ft，再加上it*Ct，得到新的候选值（图三）；

最后输出为Ct（单元格状态）通过tanh（将值规范化到-1和1之间），并乘以Sigmoid门输出到下一个单元。

2. LSTM变体

• Siamese LSTM孪生神经网络，两个LSTM共享权重，用来对比两个input的相似程度。
• GRU则是LSTM的一个变体，GRU只有两个门了，分别为更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。