1.RNN

RNN（Recurrent Neural Network）

一、RNN的概述

    比较擅长处理时间序列以及一些结构性的输入。RNN在前向传播的过程中，在t时刻，不仅传入当前状态xt，而且同时传入t-1时刻的隐藏状态ht-1，因此在t时刻不仅考虑输入，而且会考虑前几个状态，从而预测该状态，产生该状态的输出。

二、RNN的前向传播

    1）x(t)代表在t时刻训练样本的输入。同样的，x(t−1)和x(t+1)代表在t−1和t+1时刻训练样本的输入。
    2）h(t)代表在t时刻模型的隐藏状态。h(t)由x(t)和h(t−1)共同决定。
    3）o(t)代表在t时刻模型的输出。o(t)只由模型当前的隐藏状态h(t)决定。
    4）L(t)代表在t时刻模型的损失函数。
    5）y(t)代表在t时刻训练样本序列的真实输出。
    6）U,W,V这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的，这点和DNN很不相同。 也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。

RNN的前向传播：
    t时刻的隐藏状态h(t)：h(t) = σ(U·x(t)+W·h(t−1)+b)，其中σ为激活函数，一般为tanh
    t时刻模型的输出o(t)：o(t) = V·h(t)+c
    t时刻预测的输出为：y^(t) = σ(o(t)) ，因为RNN是识别类的分类模型，因此该激活函数一般为softmax.
    通过损失函数L(t)，比如对数似然损失函数，我们可以量化模型在当前位置的损失，即y^(t)和y(t)的差距。

三、反向传播（BPTT）

    RNN和DNN一样，通过梯度下降算法进行优化，因为RNN是基于时间反向传播，因此RNN的反向传播又叫BPTT（back-propagation through time）。这里注意的是U，W，V，b，c在序列的各个位置都是共享的，因此反向传播时更新的是相同的参数。

四、RNN的问题
    1、梯度消失问题。RNN和CNN一样，同样是梯度反向传播进行更新参数。RNN激活函数是tanh，通过对tanh求导，得到的是f‘(x) = 1 - (f(x))^2, f(x)是一个大于-1小于1的数，f’(x)也是一个小于1的数，通过链式法则进行更新参数，会出现多个小于1的数连乘，所以随着RNN时间序列过多的时候，也会出现梯度消失的问题。

五、参考链接：
https://www.cnblogs.com/pinard/p/6509630.html