RNN，BRNN，LSTM，GRU，DRNN

细想BP算法,CNN 我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了。

像图中这样，从左到右完成前向传播

def rnn_cell_forward(xt, a_prev, parameters):
    Wax = parameters["Wax"]
    Waa = parameters["Waa"]
    Wya = parameters["Wya"]
    ba = parameters["ba"]
    by = parameters["by"]
    
    # 下一个激活值
    a_next = np.tanh(np.dot(Waa, a_prev) + np.dot(Wax, xt) + ba)
    # 计算当前单元的输出
    yt_pred = rnn_utils.softmax(np.dot(Wya, a_next) + by) 
    # 保存反向传播需要的值
    cache = (a_next, a_prev, xt, parameters)
    
    return a_next, yt_pred, cache

通过时间的反向传播（Backpropagation through time）

RNN反向传播示意图：

def rnn_cell_backward(da_next, cache):
    # 获取cache 的值
    a_next, a_prev, xt, parameters = cache
    # 从 parameters 中获取参数
    Wax = parameters["Wax"]
    Waa = parameters["Waa"]
    Wya = parameters["Wya"]
    ba = parameters["ba"]
    by = parameters["by"]
    # 计算tanh相对于a_next的梯度.
    dtanh = (1 - np.square(a_next)) * da_next
    # 计算关于Wax损失的梯度
    dxt = np.dot(Wax.T,dtanh)
    dWax = np.dot(dtanh, xt.T)
    # 计算关于Waa损失的梯度
    da_prev = np.dot(Waa.T,dtanh)
    dWaa = np.dot(dtanh, a_prev.T)
    # 计算关于b损失的梯度
    dba = np.sum(dtanh, keepdims=True, axis=-1)
    # 保存这些梯度到字典内
    gradients = {"dxt": dxt, "da_prev": da_prev, "dWax": dWax, "dWaa": dWaa, "dba": dba}
    return gradients

循环神经网络的梯度消失和爆炸问题

梯度爆炸基本上用梯度修剪就可以应对，但梯度消失比较棘手。下面我们看GRU，门控循环单元网络，这个网络可以有效地解决梯度消失的问题，并且能够使你的神经网络捕获更长的长期依赖。

GRU单元（Gated Recurrent Unit（GRU））

重点来啦！

FULL GRU：

长短期记忆（LSTM（long short term memory）unit）
LSTM是一个比GRU更加强大和通用的版本
LSTM前向传播图：

双向循环神经网络（Bidirectional RNN）
深层循环神经网络（Deep RNNs）