吴恩达-深度学习笔记《序列模型》

序列模型概览

**提出：**DNN存在一个缺陷：无法对时间序列上的变化进行建模，然而，样本出现的时间顺序对于自然语言处理、语音识别等应用很重要；RNN解决了样本的处理在各个时刻独立的问题，可以对时间序列上的变化进行建模，深度是时间上的长度。神经元的输出可以在下一个时间戳直接作用到自身。即，某一层某一时刻神经元的输入，除了上一层神经元在该时刻的输出外，还有本身在上一时刻的输出。
缺点：时间轴上的“梯度消失”，为解决这个问题——>长短时记忆单元LSTM：通过门的开关实现时间上记忆功能，防止梯度消失。

RNN的梯度消失、爆炸问题

lstm

LSTM防止梯度弥散和爆炸：LSTM用加和的方式取代了乘积，使得很难出现梯度弥散。但是相应的更大的几率会出现梯度爆炸，但是可以通过给梯度加门限解决这一问题

GRU