文本预测
人类不会每时每刻都重新开始思考,即便是当我们在读这段话的时候,我们都是结合之前单词的理解来掌握整句话的含义,人类的思考具有持久性,但是神经网络并不是这样的。
智能助理
文本翻译
上述的数据特点是在时间维度上有一个前后的关系,这是全连接神经网络和卷积神经网络所无法处理的,这就催生了循环神经网络的诞生。
循环神经网络
循环神经网络 (recurrent neural network, RNN)是一类用于处理时间序列数据的神经网络。传统的神经网络输入输出彼此独立,无法记忆相关数据。循环神经网络优势在于对序列的每个元素进行相同的计算,输出取决于之前的数据状态,可以利用任意序列中的信息。
循环神经网络一个很重要的问题在于网络只能从之前时刻的输入中进行学习,而序列中某个时刻的信息可能是和上下文相关的。
双向RNN
LSTM
LSTM中最基本的就是 “门” gate的结构,让信息有选择性的影响网路中每个时刻的状态。“门”结构就是使用sigmoid神经网络和一个按照元素相乘的操作。
- 遗忘门
- 输入门
更新状态
- 输出门