Top8：循环神经网络RNN之LSTM学习札记

1.LSTM是什么

LSTM全名是Long Short-Term Memory，长短时记忆网络，可以用来处理时序数据，在自然语言处理和语音识别等领域应用广泛。LSTM是RNN的一个优秀的变种模型，和原始的循环神经网络RNN相比，继承了大部分RNN模型的特性，同时解决了梯度反传过程由于逐步缩减而产生的Vanishing Gradient问题。

2.LSTM核心思想

设计初衷是希望能够解决神经网络中的长期依赖问题，让记住长期信息成为神经网络的默认行为，而不是需要很大力气才能学会。

3.LSTM结构

LSTM的重复网络模块的结构实现了三个门计算，即遗忘门、输入门和输出门。遗忘门负责决定保留多少上一时刻的单元状态到当前时刻的单元状态;输入门负责决定保留多少当前时刻的输入到当前时刻的单元状态;输出门负责决定当前时刻的单元状态有多少输出。

4.LSTM能用在哪些地方

具体到语言处理任务中，LSTM非
常适合用于处理与时间序列高度相关的问题，例如机器翻译、对话生成、编码、解码等。