深度学习（六）-循环神经网络

标准CNN模型的不足

• 假设数据之间是独立的。标准CNN假设数据之间是独立的，所以在处理前 后依赖、序列问题（如语音、文本、视频）时就显得力不从心。这一类数 据（如文本）和图像数据差别非常大，最明显的差别莫过于，文本数据对文字的前后次序非常敏感。所以，需要发展新的理论模型。
• 标准CNN络还存在一个短板，输入都是标准的等长向量，而序列数据长度是可变的。

RNN模型

循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络，适合用于处理视频、语音、文本等与时序相关的问题

 

 

LSTM模型

由于RNN具有梯度消失问题，因此很难处理长序列的数据。于是对RNN进行了改进，得到了长短期记忆网络模型（Long Short-Term Memory，简称LSTM）

• 输入门：决定什么信息输入进来
• 遗忘门：决定从细胞状态中丢弃什么信息
• 输出门：决定输出什么

         

LSTMs的核心是细胞状态，用贯穿细胞的水平线表示。细胞状态像传送带一样。它贯穿整个细胞却只有很少的分支，这样能保证信息不变的流过整个RNNs。

 遗忘门

输入门

状态更新

输出门

CNN和RNN的关系

CNN和RNN同属于深度学习基本模型，CNN主要用于图像问题，RNN主要用于语音、NLP。深度学习还有一种基本模型Transformer，发源于NLP，后来也引入到图像识别中